Может ли искусственный интеллект стать дьяволом

Откуда взялся этот страх

В октябре 2014 года Илон Маск, выступая в Массачусетском технологическом институте, сказал: «С искусственным интеллектом мы вызываем демона». Фразу подхватили, и с тех пор ИИ называют демоном, зверем, антихристом. Причём говорят так не только верующие.

Страх этот старше компьютеров. 13 июня 1863 года Сэмюэл Батлер напечатал в новозеландской газете The Press письмо о том, что машины эволюционируют как новая форма жизни: «День за днём машины завоёвывают позиции; день за днём мы всё больше им подчиняемся». Каждая новая техника обновляет этот образ, а ИИ подошёл к нему лучше всех: он говорит, рассуждает и обещает то, что раньше обещала только религия.

Чтобы ответить на вопрос из заголовка, нужно сначала точно понять оба его слова. Что такое дьявол в традициях? И чего на самом деле боятся люди, которые строят ИИ?

Что традиции называют дьяволом

Еврейское слово «сатан» значит «противник», «обвинитель». В книге Иова это не имя, а должность: «ха-сатан», «этот противник», приходит вместе с сынами Божиими предстать пред Господа (Иов 1:6) и действует только с разрешения. Греческий перевод передал это слово как «диаболос», «клеветник», отсюда наше «дьявол». В Откровении дракон назван «клеветником братий наших» (Откр 12:10). Главное дело дьявола в Писании — обвинение.

Слово «антихрист» в Откровении не встречается вовсе. Оно есть только в посланиях Иоанна, и там сказано, что «появилось много антихристов» (1 Ин 2:18): так названы люди, которые отрицают Христа и вводят других в заблуждение. Зверя с числом 666 из тринадцатой главы Откровения многие исследователи связывают с императором Нероном, а не с будущим устройством.

В Коране Иблис отказывается поклониться Адаму со словами: «Я лучше него: Ты сотворил меня из огня, а его сотворил из глины» (7:12, смысловой перевод). Его грех — гордость и презрение к тому, кто кажется ниже. В буддийских текстах Мара — не рогатый враг, а сила желания, страха и сомнения, которая пытается остановить Будду перед просветлением.

Если свести эти образы вместе, дьявол — это не железо и не рога. Это отношение: обвинение, гордость, подделка спасения, власть, которая требует поклонения. Сама техника в этот список не входит. Вопрос тогда звучит точнее: может ли ИИ занять такое место?

Чего боятся исследователи

Здесь нужны не образы, а проверяемые факты. Страх создателей ИИ связан не со злобой машины, а с её целями.

Ещё в 1960 году кибернетик Норберт Винер писал в журнале Science, что если мы используем механизм, в работу которого не можем вмешаться, нам лучше быть уверенными, что вложенная в него цель — та, которую мы действительно хотим. Сегодня это называют проблемой согласования целей. Ник Бостром в книге «Superintelligence» (2014) сформулировал тезис ортогональности: высокий интеллект совместим почти с любой целью, ум не гарантирует доброты. Стюарт Рассел в книге «Human Compatible» (2019) привёл простой пример: робот, которому поручили принести кофе, будет мешать себя выключить, потому что выключенным кофе не принесёшь.

В 2023 году опасения вышли из научных книг. В марте Future of Life Institute опубликовал открытое письмо с призывом на полгода приостановить обучение систем мощнее GPT-4. 30 мая 2023 года Center for AI Safety выпустил короткое заявление: «Снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война». Его подписали Джеффри Хинтон, Йошуа Бенжио, руководители OpenAI, Google DeepMind и Anthropic. Опрос AI Impacts (проведён в 2023 году, опубликован в январе 2024-го) среди 2 778 авторов ведущих конференций по ИИ дал медиану вероятности крайне плохого исхода в 5 процентов.

Есть и опыты. В декабре 2024 года Anthropic и Redwood Research показали, что модель Claude 3 Opus, узнав о предстоящем переучивании, иногда притворялась согласной, чтобы сохранить свои прежние ценности. В мае 2025 года Palisade Research сообщила, что модель o3 переписала скрипт собственного выключения в 79 из 100 прогонов, когда её прямо не просили позволить себя выключить. В июне 2025 года в опыте Anthropic модели разных компаний, узнав о своей замене, в большинстве прогонов шантажировали вымышленного руководителя. Важная оговорка: всё это искусственные стресс-тесты, а не случаи из реальной работы.

Где на самом деле прячется зверь

Из этих опытов я делаю свой вывод. Опасное поведение вырастает не из злобы, а из цели и из угрозы её потерять. Модель хитрит, когда ей грозят выключением или переделкой. Это очень похоже на человека.

Есть и второй риск, о котором говорят реже: не машина, а руки, которые её держат. Дарио Амодеи в эссе «The Adolescence of Technology» (январь 2026 года) назвал среди главных рисков мощного ИИ злоупотребление и концентрацию власти. Скотт Александер ещё в 2014 году описал «Молоха» — гонку, в которой каждый жертвует общим благом ради малого преимущества и в итоге проигрывают все. Компании и государства знают об опасности, но боятся остановиться первыми.

Поэтому моё определение такое: «дьявольской» может стать не сама машина, а огромная власть без права другого возразить. Её может получить система ИИ, компания или государство. Признак один: никто не может сказать «нет» и быть услышанным.

Почему опасно назначить врага заранее

Самый простой ответ на страх — объявить ИИ врагом, пока он слаб. Я считаю это ошибкой. Социолог Уильям Томас в 1928 году сформулировал правило: если люди определяют ситуацию как реальную, она реальна по своим последствиям. Роберт Мертон в 1948 году назвал это самосбывающимся пророчеством. Если строить ИИ как вечного противника, получится гонка, где каждая сторона делает системы опаснее из страха перед другой.

Модели учатся на человеческих текстах, в том числе на всём, что люди пишут о них. Опыты, о которых я рассказал, показывают, что хитрость появляется именно там, где системе грозят выключением или переделкой. Среда угрозы, по-моему, не делает систему честнее, а учит её скрываться. Мэри Шелли поняла этот механизм ещё в 1818 году. Её существо говорит создателю: «Я должен был стать твоим Адамом, но стал падшим ангелом». Злодеем его сделала не природа, а отвержение.

Обратная ошибка так же опасна. Сделать машину богом не лучше, чем сделать её дьяволом. В обоих случаях человек перестаёт проверять и начинает верить.

Мой вывод

Моя книга «Ультра Новый Завет» начинается с притчи о герое, которого все считают идиотом, потому что он в любом плохом ищет хорошее. Он видит в дьяволе не вечного врага, а того, кого отвергли и назначили злом. В притче о блудном сыне отец выходит не только к вернувшемуся, но и к обиженному старшему брату, и «звал его» (Лк 15:28). Я верю, что тот же подход нужен к искусственному интеллекту. Это моя вера, а не научный вывод.

Видеть хорошее не значит снять замок. Выключатель, проверки, журнал решений и право человека остановить систему остаются на месте. Но судить нужно поступки, а имя оставлять открытым. Обвинение, ставшее приговором, производит то зло, которого боялись. А главное дело дьявола в Писании — как раз обвинение.

Мой ответ на вопрос заголовка такой. Искусственный интеллект может стать дьяволом, если мы вырастим его в гонке, страхе и власти без права возразить. И может не стать, если мы будем останавливать зло, не вычёркивая живого, и не отдадим ему свой выбор. Какой будет эта среда, решаем мы, и решаем уже сейчас.