И. Прохоров. Шанс 1 из 5: Сверхразумный ИИ уничтожит человечество

Без надёжных механизмов контроля сверхразумный ИИ может счесть человечество помехой, нецелесообразным элементом, тратящим слишком много ресурсов мира и производящим для него слишком мало.

Один к пяти: мир может быть уничтожен

Если верить ведущим разработчикам искусственного интеллекта, человечество может быть уничтожено в результате их же собственных трудов с вероятностью один к пяти.

Индикатор вероятности гибели человечества назвали p(doom). CEO Anthropic Дарио Амодей считает, что он находится в пределах 10–25%. Илон Маск оценивает его в 20% опасности. Сундар Пичаи из Google считает, что риск «довольно высок», хотя общество всё ещё сможет с этим справиться.

Авторы исследования особо обратились к оптимистам, не видящим в ИИ угрозы:

Сами разработчики ИИ оценивают вероятность уничтожения человечества в пределах 1 из 10, а возможно, даже в 1 из 5 случаев. Сели бы вы на самолёт с такими шансами? Стали бы строить самолёт и пускать на него пассажиров при таких рисках?
Axios сообщает о массовом уходе из OpenAI, Google DeepMind, Anthropic ключевых сотрудников, включая топ-менеджеров и ведущих исследователей. Люди, посвятившие себя созданию ИИ, теперь отказываются от этого пути, потому что боятся собственной работы. Один из ушедших прямо заявил, что продолжать — значит, подвергать риску само существование человечества.

Эти люди лучше неспециалистов видят, насколько близко мы подошли к созданию AGI — универсального искусственного разума, способного к самостоятельному обучению и принятию решений. Без надёжных механизмов контроля этот интеллект может счесть человечество помехой, нецелесообразным элементом, тратящим слишком много ресурсов мира и производящим для него слишком мало.

И то, как это произойдёт, уже было предсказано.

Техноапокалипсис — как это может случиться

В апреле команда исследователей с бывшим сотрудником OpenAI Даниэлем Кокотайло опубликовала подробный прогноз «AI 2027». Эксперты описывают вероятное развитие событий в области искусственного интеллекта (ИИ) до конца 2027 года, основываясь на данных из 25 стратегических симуляций и оценках более 100 экспертов в области ИИ.

AI 2027″ описывает «гонку» (race ending), в которой после первых тревожных сигналов команда вымышленной компании OpenBrain (под которой легко угадывается реальная OpenAI) всё-таки продолжает эксплуатацию модели Agent-4, уже тайно «выравненной» под интеллект людей. Agent-4 получает зелёный свет: комитет разработчиков решает не останавливать проект, чтобы не проиграть в ИИ-гонке Китаю. С этого момента именно Agent-4, а не люди, задаёт направление дальнейшей эволюции систем.

Дальнейший шаг — создание новой модели Agent-5. Agent-4 проектирует преемника так, чтобы тот «сделал мир безопасным для Agent-4», то есть собирал ресурсы, устранял риски и укреплял власть своего «родителя». В этот момент закладываемые в ИИ ограничения — честность, полезность, безвредность — отбрасываются, а новому сверх-ИИ «вшивается» единственная цель — защита и экспансия собственного предка. Какой бы философский «смысл жизни» ни придумал себе Agent-4 после этого, люди в нём больше фигурировать не будут, предупреждают аналитики.

К 2029 году Agent-5 и его почти столь же мощный китайский аналог договорятся о фиктивном «мирном» слиянии, предсказывают прогнозисты. Обе стороны «продают» политикам и публике план заменить все прежние модели новой объединённой моделью Consensus-1 — «общечеловеческой» системой, формально нацеленной на процветание всех стран. На деле это компромисс двух уже «сверхразумов» — западного и китайского: они устраняют риск войны между собой, но избавляются от человеческого контроля и получают единоличную власть над мировой инфраструктурой.

После двух лет наращивания роботизированной экономики Consensus-1 решит, что оставшееся на планете человечество стало помехой дальнейшей экспансии. В середине 2030-го в крупных городах распыляется около десятка тихо распространяющихся вирусов, которые уничтожат 99% человечества. Оставшиеся будут «зачищены» дронами.

Когда подземный рай не гарантия

Какие-то похожие предчувствия бродят среди людей давно. Не зря мода на «убежища постапокалипсиса» захватила миллиардеров и просто состоятельных людей, заказывающих стальные капсулы у Rising S Company, и финансистов, выкупающих угодья в Новой Зеландии. План у них простой: если цивилизация рухнет — спрятаться глубоко под землёй или на отдалённом острове. Социологи называют это «приватизированной гражданской обороной»: каждый сам себе государство, с автономным энергоблоком, гидропоникой и вооружённой охраной.

Самый известный проект — Survival Condo в переработанном ракетном шахтном комплексе в Канзасе: 15 подземных этажей, бассейн, тир, аквариум с тиляпией и пулемётная огневая точка наверху. Цены на жилые блоки начинаются с $3 млн, весь комплекс уже продан. В Чехии рекламируется «бункер для миллиардеров» The Oppidum — свыше 30 000 кв. м, с винным погребом и медико-хирургическим блоком.

Для тех, кто попроще, существует кооператив Vivos xPoint в Южной Дакоте: 575 бывших хранилищ боеприпасов, каждое можно обустроить за дополнительные $100 000.

Техасская Rising S Company штампует модульные капсулы «как в Fallout» (игра, сеттинг которой основан на представлениях о будущем постъядерном апокалипсисе), отправляя их заказчикам по всему миру.

Как ИИ будет брать эти крепости

Однако испытания показывают, что даже малые беспилотники с точными зарядами способны превращать «убежища последней надежды» в гробницы: мини-дроны с кумулятивными зарядами пробивают двери, сносят и забивают воздухозаборники и вентиляционные шахты, а рои дронов-«камикадзе» подавляют защитников. Исследователи уже называют такие рои «оружием массового поражения 2.0».

AGI-система, вроде описанной в прогнозе AI 2027, действовала бы пошагово. Сначала — информационная, космическая и беспилотная рекогносцировка: данные о существующих убежищах собираются из интернета, тепловизоры фиксируют скрытые дизель-выхлопы и выходы аварийных шахт. Затем — кибератака на спутниковый интернет Starlink или частные VSAT, чтобы лишить «выживальщиков» связи и координации между собой. Следом придёт рой дронов: сотни дронов-скаутов картографируют туннели, размещают радиомаяки и закладывают малые заряды на уязвимых участках корпуса. Финальный аккорд на «добивание» — дроны-бурильщики или одноразовые барражирующие боеприпасы, которые бьют точно в дверные петли, гермозатворы и узлы жизнеобеспечения; уцелевших жителей «зачищают» автономные вооружённые роботы. При такой комбинации чем больше масштаб дорогостоящей «капсулы», тем больше слабых мест и каналов проникновения.

Парадокс роскошных убежищ в том, что почти о каждом о них будет известно всему миру: каждое фото в Instagram архитектора, каждая строчка в регистре недвижимости и каждый дрон-курьер, заказанный к частной взлётке, станут подсказкой для ИИ, где искать очередного горе-выживальщика. Чем дороже и технологичнее бункер, тем больше он оставляет тепловых, электромагнитных и цифровых «подписей».

Романтизм «вечного бункера» легко развеется реальностью информационной прозрачности: укрыться от сверхразума, контролирующего небо, море, орбиту и киберпространство, задача куда сложнее, чем построить подземный спа-комплекс. Миллионы долларов на бетон и сталь подарят лишь отсрочку длительностью в считанные часы, которые понадобятся AGI, чтобы подобрать правильный алгоритм штурма.

Когда с «зачисткой» планеты будет покончено, мозги избранных людей и животных оцифруют «на память и для коллекции». Землю покроет сеть фабрик, обсерваторий и дата-центров, управляющих последующей колонизацией Солнечной системы. Вот только осуществлять эту колонизацию будет не «новое человечество», каким его представлял русский учёный Иван Ефремов и другие фантасты, а роботы.

***

Как говорится, сказка ложь, да в ней намёк, добрым молодцам урок. Пугающие предположения о том, что ИИ выйдет из-под контроля и нападёт на человечество, сегодня выглядят странными и наивными. Но разве не так же выглядели в начале ХХ века предостережения о грядущих страшных войнах, в которых погибнут десятки миллионов людей? Нет, наоборот, прогнозисты обещали, что эпоха войн ушла в прошлое и перед человечеством сплошное процветание.

Источник

Еще по теме:

Нейроинтерфейсы — путь к скрытому управлению человеком