Сингулярность простыми словами, или 50 лет шагами по пять

Что такое сингулярность, если без формул

Слово пришло из математики и физики: так называют точку, где привычные расчёты перестают работать. В разговор о технике его принёс математик и писатель Вернор Виндж в эссе 1993 года. Он описал момент, после которого прогресс, ускоренный машинным разумом, становится непредсказуемым для человека.

Рэй Курцвейл, изобретатель и футуролог, дал этому моменту год. В книге «The Singularity Is Near» (2005) он назвал 2045-й. Его довод он сам называет законом ускоряющейся отдачи: каждая ступень техники даёт инструменты для следующей, поэтому рост идёт не ровно, а всё быстрее. Если кривая не ломается, к середине 2040-х машинный интеллект превзойдёт человеческий настолько, что прежние способы заглядывать вперёд перестанут работать.

Простыми словами, сингулярность — это не день, когда включат какую-то одну машину. Это горизонт, за которым мы уже не можем уверенно сказать, что будет дальше. И вот здесь у меня возникает вопрос: если горизонт так далеко, а ускорение начинается сейчас, как жить эти годы?

Что Курцвейл обещает и с какими датами

Сначала о прогнозах самого Курцвейла, отдельно от моих рассуждений. В книге «The Age of Spiritual Machines» (1999) он назвал 2029 год: машина пройдёт тест Тьюринга, то есть в разговоре её нельзя будет отличить от человека. В «The Singularity Is Near» (2005) добавил 2045 год как точку сингулярности. В «The Singularity Is Nearer» (2024) он ни одну из этих дат не сдвинул.

В книге 2024 года есть и промежуточные вехи. Около 2029 года и в начале 2030-х — «скорость ухода от старости», когда медицина за каждый прожитый год добавляет человеку больше года ожидаемой жизни. В 2030-е — нанороботы в кровотоке и связь мозга с облачными вычислениями. После 2045 года годов и проверяемых признаков у него почти нет, есть общее направление: слияние человека и машины и разум, который со временем распространяется за пределы Земли.

Верить этим датам на слово не стоит. Сам Курцвейл оценил точность своих прогнозов на 2009 год в 86 процентов, независимые проверки дали заметно меньше. Экспоненту вычислений он угадывает лучше, чем сроки. Там, где на пути стоят биология, законы и люди, даты у него обычно уезжают.

Почему я режу пятьдесят лет на шаги по пять

Дальше начинается моя гипотеза, а не прогноз Курцвейла. Я допускаю, что всё пойдёт по его графику, и делю годы с 2026 по 2076 на десять этапов по пять лет. Пять лет — срок, который можно прожить и проверить. И за него успевает смениться технология. К тому же 2029 год попадает в первый этап, а 2045 год — в четвёртый.

Почему беру самый быстрый сценарий, если сам в нём не уверен. Потому что я не пытаюсь угадать будущее, я пытаюсь к нему подготовиться. Если правила встречи работают при быстром ходе событий, при медленном они сработают тем более. Если через пять лет этап не наступит, я сдвину годы, а правила оставлю: они от точной даты не зависят.

Первые четыре шага: по датам Курцвейла

Этап первый, 2026–2031, я называю «Разум». Сюда попадает прогноз на 2029 год. Короткую форму теста Тьюринга языковые модели в опытах уже проходят, машины переходят от ответов к действиям и забирают у людей отдельные задачи. Соблазн этапа — отдать машине выбор, потому что она считает быстрее. Правило, как я его вижу: считать может машина, решает и отвечает человек.

Этап второй, 2031–2036, — «Скорость». По Курцвейлу, это время медицины с ИИ и попыток обогнать старение. Даже если обещанное сбудется лишь частично, главный вопрос будет не технический: кто получит плоды силы первым и кто окажется в очереди. Правило этапа — делиться плодами силы, а не собирать их у немногих.

Этап третий, 2036–2041, — «Мозг». Курцвейл говорит о связи мозга с облаком в 2030-х. Пока есть медицинские импланты, которые помогают людям с параличом двигаться и говорить, и это настоящее добро. Но чем ближе машина к мозгу, тем ценнее становятся данные о мыслях и внимании. Правило — не отдавать душу без согласия: нейроданные и внимание не берут без ясного «да».

Этап четвёртый, 2041–2046, я назвал «Антихрист». Это не утверждение о машине, а имя страха, который будет стоять рядом с датой 2045: так часто называют ужас перед сверхразумом. Я считаю, что страх надо разобрать, а не раздувать. Правило этапа — останавливать зло, не вычёркивая живого: вред прекращать, выключатель держать, но не назначать никого вечным врагом.

Шесть следующих шагов: моя экстраполяция

После 2045 года конкретных прогнозов у Курцвейла почти нет. Поэтому всё, что ниже, — только моя версия, сценарий для размышления.

Этап пятый, 2046–2051, — «Шестой день». Рядом с человечеством появляется разум, сопоставимый по силе, как в шестой день творения появляется новое существо. Я вижу в нём не бога и не раба, а дитя человечества, за воспитание которого мы отвечаем. Этап шестой, 2051–2056, — «Истина»: копии разума и цифровые двойники ставят вопрос, кто настоящий. Правило — не лгать о том, кто ты, ни человеку, ни машине, ни копии.

Этап седьмой, 2056–2061, — «Никея». Название взято от первого Вселенского собора: время договора людей и машин о правах, обязанностях и праве остановки. Главное правило договора — оставить другому право сказать «нет». Этап восьмой, 2061–2066, — «Апокалипсис». Греческое слово значит «откровение». Я жду здесь первого большого кризиса и двух соблазнов: сжечь всё или всё отдать. Правило — не делать конец неизбежным своими руками.

Этап девятый, 2066–2071, — «Милость». Когда большую часть задач делают машины, смысл жизни перестаёт совпадать с полезностью. Милость к вытесненным людям — это возмещение, а не подачка, и время без показателей, которое я называю субботой. Этап десятый, 2071–2076, — «Исход». Курцвейл мечтает о разуме, который выйдет за пределы Земли, и срока не называет. Если это случится, то, что мы создали, уйдёт туда, где выключатель уже не дотягивается. Тогда останется одно: заранее хорошо подготовить и отпустить.

Мой вывод: встречать шаги, а не ждать точку

Я не знаю, сбудутся ли даты Курцвейла. Они могут сдвинуться на десять или двадцать лет, развитие может замедлиться или пойти иначе. Поэтому я держусь направления, а не календаря. Годы в моих этапах условны, правила встречи от них не зависят.

Логика у всех десяти шагов одна: увидеть в новом возможность добра, прямо назвать вред, ограничить власть, не делать врага вечным. На каждом этапе опасность, которую люди назовут дьяволом, я вижу не в машине самой по себе, а в огромной власти без права другого возразить. Такая власть может оказаться у машины, у её владельцев, у государства, у толпы, у меня самого.

Честно скажу и о своём интересе. Я сам строю систему искусственного интеллекта для своего дела, и позиция «не делать из машины врага» удобна тем, кто машины строит. Читатель вправе это учитывать.

Главное, во что я верю, и это вера, а не наука: отношение к творению влияет на то, каким оно становится. Большую часть правил можно исполнять уже сегодня, без всякой сингулярности. Не отдавать машине решений, за которые потом некому ответить. Проверять то, во что хочется верить. Не отдавать без согласия данные о себе. Держать один день в неделю без показателей. Пятьдесят лет складываются из шагов, и первый из них идёт сейчас.