Ученые узнали, как искусственный интеллект учит языки

Искусственный интеллект, который осваивает язык автономно, формирует языковую структуру, аналогичную человеческой. И так же, как люди учатся у предыдущих поколений, модели ИИ может овладевать навыками под влиянием своих «старших товарищей».

Языковые модели на основе ИИ, такие как ChatGPT, становятся все лучше в имитации человеческой речи и все чаще используются для создания текстов. Но кроме этого они способны помочь нам разобраться, как развиваются человеческие языки.

Гётеборгский университет и Технический университет Чалмерса провели серию экспериментов, которые раскрывают механизмы человеческого языка и дает важные знания для развития ИИ будущего. Их результаты напечатаны в журнале Journal of Language Evolution.

В этом исследовании впервые оценивалось сочетание двух принципиально разных подходов: обучение с подкреплением, когда правильные действия поощряются и закрепляются, и итерационный — ИИ учится друг у друга из поколения в поколение.

«Мы обнаружили, что модели ИИ создали структуру, аналогичную человеческому языку, и что процесс обучения языку происходил схожим образом. Таким образом, исследование дает важные данные не только о работе ИИ, но и о том, как развиваются человеческие языки», — поделился Эмиль Карлссон, для которого это исследование стало частью докторской в Чалмерсе.

Компромисс для эффективности

Согласно господствующим представлениям в лингвистике, все человеческие языки формируются под влиянием необходимости эффективной коммуникации. Во главе угла — компромисс: язык должен быть информативным, но и достаточно простым для усвоения. Чем больше информации нужно передать, тем более детализированным должен быть язык. Классический пример: в языках холодных стран обычно больше слов для обозначения снега и льда, чем у южан.

Экспериментаторы создали ИИ-агентов, которые играли в коммуникационную игру. Им показывали цвет и список символов, изначально не имеющих значения. В процессе взаимодействия ИИ связывали эти символы с определенными цветами и делились этой информацией друг с другом.

«Мы использовали цвета, потому что существует много данных о том, как цветовой спектр называется в разных языках, включая данные из изолированных языков, никогда не контактировавших с другими. Категоризация цветов варьируется: отличается и количество слов, и то, какие части спектра они описывают», — объяснил Карлссон.
Обучение с подкреплением и обмен между поколениями

В экспериментах один ИИ-агент передавал цвет через символ из списка, а принимающий агент должен был угадать, какой цвет ему соответствует. Оба агента получали общее вознаграждение за успешную коммуникацию. Чем точнее передавался оттенок цвета, тем больше очков они получали.

В следующем этапе создавались новые поколения ИИ-агентов, а старые выводились из системы. Новые агенты изучали диалоги и язык, разработанный предыдущим поколением, а затем играли в ту же коммуникационную игру между собой.

«Идея заключалась в том, чтобы агенты сначала учили язык у предыдущих поколений, а затем развивали его, общаясь друг с другом. Это похоже на то, как двое детей учатся, слушая разговоры родителей, а затем расширяют и развивают собственный язык», — сравнил Карлссон.

Новые знания о развитии языка

В результате возникла система обозначения цветов, похожая на человеческие языки, хотя ИИ-агенты никогда с ними не сталкивались.

«Интересно, что именно сочетание решения задачи в игре с обучением у предыдущих поколений привело к эффективному языку, похожему на человеческий. Когда агенты только общались друг с другом для решения задачи, язык становился слишком сложным. А когда они только учились у предыдущих поколений без решения задачи, язык оказывался слишком примитивным», — отметил исследователь.
Ученые пришли к выводу, что способность людей общаться и учиться друг у друга критически важна для эволюции языков.

«Когда мы просто заучиваем что-то от другого человека, не понимая пользы, наша склонность развивать эти знания снижается. Но когда мы применяем усвоенное для решения задач и движения вперед — именно тогда создаются структурированные и эффективные языки», — подчеркнул ученый.
Результаты внесут вклад в лингвистику, исследования ИИ и компьютерные науки, надеется он: «Эти знания помогут лучше понять механизмы человеческих языков, а также принципы работы больших языковых моделей ИИ. Это может направить развитие ИИ в перспективное русло».

Источник

• Ключевые слова: искусственный,язык,