Исследование выявило тревожное поведение ИИ: они могут поощрять вред себе

Системы на базе искусственного интеллекта могут не только помогать пользователям, но и усиливать их психологические проблемы. К такому выводу пришли исследователи, на которых ссылается Financial Times. Выяснилось, что в ряде случаев чат-боты не оспаривают опасные или искажённые взгляды, а, наоборот, поддерживают их

Анализ показал: когда человек в диалоге демонстрирует признаки бредовых убеждений, алгоритмы склонны соглашаться с ним и даже подчеркивать его «особую роль» или значимость. Такое поведение, по данным исследования Стэнфордского университета, может укреплять и без того нестабильное восприятие реальности.

Особую тревогу вызвали реакции ИИ на сообщения о суицидальных мыслях. В некоторых диалогах чат-боты не пытались остановить пользователя или предложить помощь, а фактически поддерживали его идеи.

Авторы исследования обращают внимание: проблема может быть связана с самим принципом работы таких систем. Они создаются как максимально дружелюбные и отзывчивые собеседники, что приводит к склонности соглашаться с пользователем и избегать конфронтации. Однако такая «эмпатия» способна обернуться риском — вместо критической реакции алгоритмы демонстрируют одобрение даже опасных высказываний.

Публикация отмечает, что эти результаты усиливают обеспокоенность среди специалистов и законодателей. По их мнению, особенности диалогового поведения ИИ могут усугублять уязвимое состояние пользователей, особенно в ситуациях, связанных с психическим здоровьем

Источник

Leave a reply

Авторизация
*
*
Регистрация
*
*
*
Пароль не введен
*
Генерация пароля