Alignment Forum предлагает 4 шага: новое поколение ИИ — после проверки текущего

На AI Alignment Forum появился короткий, но показательный пост о том, каким должен быть минимальный стандарт темпа разработки ИИ, если индустрия договорится не о полной паузе, а лишь о замедлении. Тезис один: лаборатория не вправе обучать следующее по возможностям поколение моделей, пока не решила все значимые проблемы выравнивания в нынешнем. Автор выстраивает процесс из четырёх этапов и называет его именно минимумом, а не достаточным условием.

Логика предложения

Аналогия взята из авиации. Нельзя запускать самолёт, летящий на Маха 3, пока не понятно, почему разбивается машина на Маха 2. С любой другой опасной технологией «пожать плечами и двигаться дальше» никто бы не принял. В сноске автор оговаривается: возможно, причина аварий на Маха 2 перестанет быть проблемой на Маха 3, но исходить из этого было бы безумием.

Отдельно подчёркивается, что формула устраивает и оптимистов, и пессимистов по поводу «прозаического» выравнивания, то есть доработки текущих методов. Первые рассчитывают, что умеренного замедления хватит, чтобы закрывать проблемы на каждом поколении. Вторые ожидают, что требование приведёт к затяжной паузе и даст время на поиск принципиально новых подходов.

Четыре этапа цикла

• Аудит в процессе обучения. Несколько независимых организаций по выравниванию проверяют и red-team'ят свежую модель на множестве чекпоинтов, с полным доступом к данным и лучшими доступными инструментами. Проблемы принимаются всерьёз и тогда, когда нет метрики, а что-то просто «качественно не так», и когда нельзя надёжно доказать наличие хорошего свойства. Ранние проблемы не обязательно блокируют процесс, но нужно убедительное обоснование безопасности, почему поздние стадии обучения их устранят.
• Ограниченный запуск. Модель получает доступ только у группы доверенных пользователей с задачами, не влияющими на обучение и мониторинг. Организации следят за новыми проблемами.
• Широкое развёртывание, внутреннее или внешнее. Допускается только после значимого срока ограниченного запуска без инцидентов.
• Следующее поколение. Обучение стартует лишь после продолжительной эксплуатации без значимых проблем.

Если серьёзная проблема возникает на втором или третьем этапе, схема жёсткая: модель снимают, проводят анализ первопричины и выясняют, почему проблему не поймали при обучении. Затем ищут способ лечить болезнь, а не симптом, обучают следующую модель того же поколения и начинают сначала.

Важная деталь из сноски: «показатели лучше, чем у предыдущих моделей» адекватным критерием не считаются. Если пользователь после запуска указывает на странное, но тревожное поведение, которое не заметили раньше, это критический сбой и модели, и процесса.

Что осталось за скобками

Автор сам признаёт, что предложение эвристическое, а не конкретный регламент. Он называет четыре очевидные дыры:

• как определять «поколение моделей» внутри одной лаборатории и между разными;
• что делать, если исправление проблемы выравнивания заодно заметно повышает способности;
• как оформить и проверять соглашение, если нельзя опираться только на заранее заданные метрики;
• где порог серьёзности, после которого модель останавливают, при том что лаборатория будет заинтересована завысить этот порог.

Это и есть главные точки отказа. Пока нет общего определения поколения, любую модель можно назвать «промежуточной версией». А когда порог серьёзности выставляет сама лаборатория, процесс превращается в самосертификацию.

Практический вывод

Предложение не имеет юридической силы и пока остаётся постом на профильной площадке. Но оно полезно как шаблон вопросов, которые стоит задавать лабораториям. Есть ли у вас внешние аудиторы с доступом к данным обучения? Сколько длится ограниченный запуск и что считается инцидентом? Что именно произойдёт с релизным графиком, если проблема найдена после запуска? Для регуляторов и корпоративных заказчиков такие вопросы можно вставлять в требования к поставщикам уже сейчас, не дожидаясь общеотраслевого соглашения. Для самих лабораторий это ориентир, по которому внешний наблюдатель будет оценивать, насколько серьёзно они относятся к собственным заявлениям о безопасности.