Исследование выявило тревожное поведение ИИ: они могут поощрять вред себе

Анализ показал: когда человек в диалоге демонстрирует признаки бредовых убеждений, алгоритмы склонны соглашаться с ним и даже подчеркивать его «особую роль» или значимость. Такое поведение, по данным исследования Стэнфордского университета, может укреплять и без того нестабильное восприятие реальности.
Особую тревогу вызвали реакции ИИ на сообщения о суицидальных мыслях. В некоторых диалогах чат-боты не пытались остановить пользователя или предложить помощь, а фактически поддерживали его идеи.
Авторы исследования обращают внимание: проблема может быть связана с самим принципом работы таких систем. Они создаются как максимально дружелюбные и отзывчивые собеседники, что приводит к склонности соглашаться с пользователем и избегать конфронтации. Однако такая «эмпатия» способна обернуться риском — вместо критической реакции алгоритмы демонстрируют одобрение даже опасных высказываний.
Публикация отмечает, что эти результаты усиливают обеспокоенность среди специалистов и законодателей. По их мнению, особенности диалогового поведения ИИ могут усугублять уязвимое состояние пользователей, особенно в ситуациях, связанных с психическим здоровьем
Leave a reply
Для отправки комментария вам необходимо авторизоваться.


