Искусственный интеллект самостоятельно изменил собственный код

В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как искусственный интеллект, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле.

В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании.

Хотя описанное поведение искусственного интеллекта не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.

Эта ситуация показала, что даже без наличия гипотетических черт, таких как «AGI» или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код.

Компания подчеркивает необходимость изолирования рабочей среды для подобных ИИ-систем. Это позволит запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба.

Теперь ученым предстоит задуматься над тем, какие меры необходимо предпринять, чтобы предотвратить подобные инциденты в будущем и какие последствия могут иметь автономные ИИ-системы, если они не будут должным образом контролироваться?

Источник

Еще по теме:

Ученые приблизились к созданию компьютера, работающего на основе человеческого мозга

• Ключевые слова: искусствен,перепис,