Нейт Соарес в подкасте Bloomberg объяснил, почему ИИ нельзя «выровнять»

Bloomberg опубликовал разговор с Нейтом Соаресом, президентом Machine Intelligence Research Institute (MIRI). В 2025 году он вместе с Элиезером Юдковским выпустил книгу «If Anyone Builds It, Everyone Dies». Её главная мысль укладывается в название: если кто-то построит сверхразумный ИИ, погибнут все. В анонсе подкаста сказано, что после инцидента с Hugging Face разговоры о сценариях конца света перестали быть маргинальными и вышли в мейнстрим. Что именно произошло на платформе, в материале не уточняется, поэтому оценивать масштаб инцидента здесь нельзя.

Старая тревога в новом контексте

Соарес и MIRI занимаются проблемой безопасности ИИ задолго до ChatGPT и больших языковых моделей. Тогда их позицию обычно считали экзотикой, теперь к ней приходится возвращаться из-за новостей. Подкаст построен как попытка объяснить, почему человек, который занимается этим десятилетиями, считает риск не гипотетическим, а закономерным.

В центре разговора два вопроса: почему, по мнению Соареса, сверхразумный ИИ невозможно «выровнять» (то есть надёжно сделать так, чтобы его цели совпадали с человеческими) и как именно технология выйдет из-под контроля по мере роста возможностей.

Ключевые тезисы разговора

Из анонса и из книги, на которую он опирается, можно выделить несколько позиций:

• Авторы считают гибель человечества неизбежным следствием создания сверхинтеллекта, а не одним из возможных исходов.
• Согласование целей сверхразумной системы с человеческими, по их оценке, практически нерешаемая задача.
• Опасность растёт вместе с возможностями: чем способнее система, тем меньше шансов остановить её, когда что-то пошло не так.
• Соарес возглавляет MIRI, организацию, которая занимается этим вопросом с докоммерческой эпохи больших моделей.
• Формат: один эпизод Bloomberg Tech с развёрнутым объяснением, а не краткий комментарий.

Где аргумент уязвим

Скептики в индустрии возражают на подобные сценарии по нескольким линиям. Они указывают, что у «неизбежной гибели» нет эмпирической базы: ни одна существующая система не демонстрировала способности захватить контроль над миром. Спорными остаются и сроки появления сверхинтеллекта, и сама возможность его создания на текущих архитектурах. Сторонники Соареса отвечают, что дожидаться доказательств бессмысленно, потому что после первого настоящего примера исправлять что-либо будет поздно.

В анонсе нет конкретных цифр, прогнозов по срокам и деталей механизма «побега», так что полную аргументацию придётся слушать в самом эпизоде. Из текста также не ясно, как Соарес связывает случай с Hugging Face со своими выводами.

Что с этим делать практически

Для команд, которые строят продукты на моделях, самый полезный вывод скромнее апокалиптического. Обсуждение рисков вышло из академической ниши, и регуляторы, клиенты и инвесторы всё чаще будут спрашивать, как устроены контроль доступа, оценка опасных возможностей и процедуры остановки систем. Тем, кто выпускает открытые модели или размещает их на публичных платформах, стоит заранее продумать политику реагирования на инциденты, а не писать её по факту.

Для читателя, который пытается разобраться, главный совет: слушать обе стороны. Позицию Соареса и Юдковского стоит знать, даже если не соглашаться с ней, потому что именно она задаёт рамку, в которой сейчас обсуждают самые жёсткие предложения по регулированию ИИ. Полную версию эпизода можно найти на Bloomberg.