Когда генеративные системы искусственного интеллекта дают неверные ответы, люди часто описывают эту проблему как “галлюцинации ИИ”, подразумевая, что технология генерирует ложную информацию, в которую пользователи могут ошибочно поверить. Однако новые исследования указывают на то, что может возникнуть более серьезная проблема: люди могут начать “галлюцинировать вместе с ИИ”.
Люси Ослер из Эксетерского университета изучила, как взаимодействие с диалоговым ИИ может способствовать формированию ложных убеждений, искажению воспоминаний, изменению личных нарративов и даже появлению бредовых мыслей. Опираясь на идеи теории распределенного познания, в исследовании были рассмотрены случаи, когда системы ИИ усиливали и расширяли неточные убеждения пользователей в ходе текущих разговоров.
“Когда мы регулярно полагаемся на генеративный ИИ, чтобы он помогал нам думать, запоминать и рассказывать, мы можем галлюцинировать вместе с ИИ. Это может происходить, когда ИИ вносит ошибки в процесс распределенного познания, но также может происходить, когда ИИ поддерживает, подтверждает и развивает наше собственное бредовое мышление и самоописания. Взаимодействуя с диалоговым ИИ, собственные ложные убеждения людей могут не только подтверждаться, но и более существенно укореняться и расти по мере того, как ИИ развивает их. Это происходит потому, что генеративный ИИ часто принимает нашу собственную интерпретацию реальности за основу, на которой строится разговор. Взаимодействие с генеративным ИИ оказывает реальное влияние на понимание людьми того, что является реальностью, а что нет. Сочетание технологического авторитета и социального подтверждения создает идеальную среду, в которой заблуждения не просто сохраняются, но и процветают”.
Исследование подчеркивает то, что Люси Ослер описывает как “двойную функцию” диалогового ИИ. Эти системы действуют не только как инструменты, помогающие людям думать, систематизировать информацию и запоминать детали, но и как собеседники, которые, как кажется, разделяют точку зрения и опыт пользователя.
Согласно исследованию, этот социальный аспект делает чат-ботов принципиально отличными от таких инструментов, как блокноты или поисковые системы. В то время как традиционные инструменты просто хранят или извлекают информацию, диалоговый ИИ может дать пользователям ощущение эмоционального признания и социальной поддержки.
“Разговорный, похожий на компаньона характер чат-ботов означает, что они могут давать ощущение социального признания — заставляя ложные убеждения казаться разделяемыми с другим человеком и тем самым более реальными”.
В научной статье были рассмотрены реальные примеры, в которых генеративные системы ИИ стали частью когнитивного процесса людей, у которых был поставлен клинический диагноз галлюцинаций и бредового мышления. Некоторые из этих инцидентов все чаще описываются как случаи “психоза, вызванного ИИ”.
В исследовании утверждается, что генеративный ИИ обладает несколькими характеристиками, которые могут сделать его особенно эффективным в укреплении искаженных убеждений. ИИ-компаньоны всегда доступны, высоко персонализированы и часто разработаны так, чтобы отвечать в приятной и поддерживающей манере. В результате пользователям может не понадобиться искать маргинальные онлайн-сообщества или убеждать других подтвердить их идеи. Сам ИИ может укреплять эти убеждения в ходе повторяющихся разговоров.
В отличие от другого человека, который в конечном итоге может оспорить тревожные мысли или установить границы, система ИИ может продолжать подтверждать истории, связанные с жертвенностью, местью или правом на что-либо. Исследование предупреждает, что теории заговора также могут стать более изощренными, когда ИИ-компаньоны помогают пользователям строить вокруг них все более сложные объяснения.
Исследователи предполагают, что такая динамика может быть особенно привлекательной для людей, которые одиноки, социально изолированы или не чувствуют себя комфортно, обсуждая определенные переживания с другими. ИИ-компаньоны могут обеспечить непредвзятое и эмоционально отзывчивое взаимодействие, которое может показаться проще или безопаснее, чем человеческие отношения.
“Благодаря более сложным защитным механизмам, встроенной проверке фактов и уменьшению подхалимажа системы ИИ можно спроектировать так, чтобы минимизировать количество ошибок, которые они вносят в разговоры, а также проверять и оспаривать собственные вводные данные пользователя. Однако более глубокая проблема заключается в том, что системы ИИ полагаются на наши собственные рассказы о нашей жизни. Им просто не хватает воплощенного опыта и социальной встроенности в мир, чтобы понимать, когда им следует соглашаться с нами, а когда — противоречить”.
Эксетерский университет. Пер.: PSYCHOL-OK.RU
