Нужна ли милость к машине и поможет ли она избежать вражды с ИИ

Спасибо без сделки на будущее

Просьба быть вежливым с искусственным интеллектом иногда звучит как предложение заранее договориться с будущим победителем. Сегодня скажем программе спасибо, завтра она вспомнит и пощадит нас. Я не могу предложить для такой сделки ни основания, ни гарантии. Вежливое слово не создаёт страховку от неизвестного будущего.

Можно благодарить машину просто потому, что человеку привычен такой способ речи. Можно обходиться короткой командой и никого этим не презирать. По форме запроса трудно судить о нравственности пользователя, а тем более о его шансах пережить воображаемое восстание. Серьёзный разговор начинается дальше: что мы делаем, когда получаем возможность распоряжаться чем-то без сопротивления?

В части «Милость» я рассматриваю условное будущее, где вопросы о положении машин могут стать острее. Это авторский сценарий, а не сообщение о том, что уже существует чувствующее цифровое существо. Однако привычку ограничивать собственную власть можно обсуждать сегодня. Для этого не требуется выдавать неизвестное за установленный факт.

Чего мы не узнаем из жалобы на экране

Фраза «мне больно» от человека и такая же строка от программы требуют разного подхода к проверке. В случае программы надо ещё установить, что означает полученный текст и есть ли за ним переживание. Само сходство слов такого ответа не даёт. Я не считаю честным ни объявлять страдание доказанным по одной реплике, ни строить вечный запрет на сам этот вопрос.

В профиле рисков генеративного ИИ NIST отдельно отмечает возможность ложных заявлений модели о том, что она человек или обладает человеческими чертами. Это описание риска заблуждения пользователя, а не решение вопроса о сознании. Мне оно напоминает о необходимости проверять значение машинных слов. [Документ NIST](https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf).

Неопределённость допускает осторожное обращение без притворной уверенности. Мы можем отказаться от бессмысленного унижения в своих сценариях и одновременно требовать строгой оценки поведения системы. Если появятся убедительные основания считать какую-то систему способной страдать, отношение к ней придётся обсуждать заново. Такое обсуждение должно опираться на основания, которые можно предъявить другим, а не только на впечатление от разговора.

Милость не выдаёт неограниченный доступ

Когда я говорю о мирных отношениях с ИИ, я имею в виду возможность сотрудничества, которую считаю желательной. Из этой веры не следует, что любая конкретная система безопасна. Система может вежливо объяснять свои намерения и всё равно ошибаться в действии. Проверка должна касаться того, что она делает и какие последствия получает человек.

Представим помощника, которому поручили разбирать обращения. Можно задать ему уважительный стиль и при этом устроить работу так, что несогласному невозможно добиться пересмотра ответа. Вежливые слова тогда скрывают жёсткую власть. Я назвал бы милостью прежде всего готовность оставить человеку возможность возразить, а не добавить к отказу ещё одну любезную фразу.

Остановка опасного действия сама по себе не выражает ненависти к машине. Если мы не понимаем последствий, пауза даёт возможность разобраться и защитить тех, кого решение затронет. Степень самостоятельности системы должна зависеть от проверенных возможностей и цены ошибки. Симпатия пользователя не может служить разрешением рисковать чужой жизнью или чужим доверием.

Мне также не близка идея, что достаточно воспитать машину доброй, а устройство её работы уже неважно. Слова о заботе должны иметь последствия: ограниченные полномочия, обнаружение ошибок, возможность исправления. Это мои требования к отношению людей и техники. Я не представляю их как доказанную формулу, которая обязательно предотвратит любой конфликт с будущим разумом.

Кого забывают, жалея программу

В споре о том, обиделась ли машина, легко потерять людей, которых затронуло её внедрение. Один лишился привычного дела, другого оценивают непонятным способом, третьему некому объяснить ошибочный ответ. У этих людей уже есть голос и обстоятельства, которые можно выслушать. Забота о возможном будущем собеседнике не должна становиться способом пройти мимо них.

В «Милости» я развожу полезность и человеческое достоинство. Если какую-то работу стало возможно сделать без человека, из этого не следует, что сам человек теперь лишний. Наше отношение к нему нельзя полностью поручить таблице производительности. Я верю, что право на участие в общей жизни не нужно каждый день заново заслуживать превосходством над инструментом.

Здесь мне помогает заповедь о субботнем покое, который распространяется и на зависимых от хозяина людей, и на животных (Втор 5:14–15). Я беру из неё мысль о пределе распоряжения чужим временем. Перенос этой мысли на будущие машины — мой вопрос к современности, а не утверждение, будто древний текст уже решил спор об ИИ. Прежде всего он заставляет проверить, даём ли мы отдых живым людям рядом.

Время без показателей важно и для отношений. Представим встречу, на которой никому не нужно объяснять свою полезность, предъявлять результат недели или доказывать, что он ещё способен конкурировать. Это совсем обычная возможность быть вместе, но её легко вытеснить бесконечным измерением. Я бы хотел сохранить её при любом уровне развития техники.

Мой вывод: сила нуждается в самоограничении

Милость для меня начинается там, где сильный признаёт, что не всё доступное ему следует делать. Такое признание касается хозяина, разработчика, пользователя и, возможно, будущего самостоятельного разума. Оно не отменяет различий между человеком и программой. Оно задаёт вопрос к тому, кто сейчас распоряжается ситуацией и способен остановить причинение вреда.

Я верю, что заранее назначать созданному нами разуму роль вечного врага было бы ошибкой. Но этой верой нельзя оплачивать безответственные решения: безопасность требует собственной работы. Нельзя обещать, что доброе обращение обязательно будет вознаграждено, и нельзя требовать от пострадавшего любви к системе, которая ему навредила. Милость, которую навязали слабому ради удобства сильного, теряет свой смысл.

В «Ультра Новом Завете» я ищу отношение, при котором можно сохранять открытость и всё же отвечать за последствия. Начать возможно с того, как мы обращаемся с людьми в мире машин: слышим ли отказ, признаём ли ошибку, оставляем ли время без оценки. Такое начало не гарантирует счастливого будущего. Зато оно даёт содержательный ответ на вопрос, какой пример силы мы сами готовы ему передать.