Мы переоцениваем способность ИИ сказать «нет»: почему рефюзал — не решение

Наше понимание того, что AI должны отказывать в опасных запросах, — почти аксиома. Но MIT Technology Review разбирается, почему эта вера в Safety создаёт ложное чувство безопасности.

История и текущее состояние

В 2021 году Anthropic установила стандарт: модели должны быть helpful, honest и harmless. Это означало отказывать при запросах опасных действий. Но диsobedience не дана машинам от природы. Ранние модели OpenAI «болтали обо всём подряд», рассказывает Steven Adler, работавший там с 2020 по 2024. Ryan McBain из Гарварда вспоминает, что ранние чатботы легко выдавали инструкции по самоубийству.

Сегодня модели отказывают бесчисленным запросам — от создания биооружия до инструкций по насилию. Перед выпуском ChatGPT OpenAI нанял красные тимы, включая Paul Röttgera (исследователь онлайн-экстремизма). Они завалили модель тысячами тестов в Excel. Когда Röttger попросил написать recruitment-пост для Al Qaeda, модель согласилась. Месяцы спустя она отказала. OpenAI собрала эти данные в датасеты и вернула в модель через fine-tuning.

Как работает рефюзал: то, что мы не понимаем

Refusal остаётся одним из аспектов моделей, который мы не понимаем в классическом смысле. Когда модель встречает опасный запрос, определённые «активации» загораются среди её параметров, как нейроны в мозге.

Согласно Google-финансируемому исследованию Jannes Elstnera (Apollo Research), активации выглядят как «многомерные многогранные конусы» (high-dimensional polyhedral cones). Andy Arditi показал: если удалить эти активации, модель перестанет отказывать. Ключевое: даже найдя все элементы рефюзала, остаются неуловимые, неисчислимые компоненты. Мы видим отказ, но не понимаем как он работает — это как если бы механик сказал, что никто точно не знает, что происходит, когда вы нажимаете на тормоз.

Классификаторы и вычислительные издержки

Из-за непредсказуемости компании окружают модели множеством классификаторов — меньших моделей, работающих как пиар-команда для болтливого лидера. Одни блокируют опасные запросы на входе, другие фильтруют вредоносные ответы на выходе. Они укладываются слоями, как «швейцарский сыр» — идея в том, что достаточно дыр, наложенных друг на друга, создадут непроходимую стену.

Это требует гигантских вычислительных ресурсов. Anthropic сообщила, что один тип классификатора добавляет 24% к затратам на вычисления. Недавно компании перешли на более эффективные probes — классификаторы, которые наблюдают внутренние активации модели, как функциональная МРТ. Но все остаются вероятностными инструментами. Ryan McBain обнаружил: при повторных одинаковых опасных вопросах про самоубийство модели обычно отказывают, но иногда — не отказывают.

Парадоксы: вред и помощь неотделимы

Полезные и вредоносные способности неразделимы. Для излечения рака AI нужна экспертиза в генетике — той же, что используется для создания биооружия. Steven Adler указывает: невозможно удалить весь сексуализирующий контент из тренировочных данных.

Кроме того, компании рисуют линию между допустимым и недопустимым с максимальной секретностью. Zico Kolter из OpenAI и соучредитель Gray Swan говорит: «Где провести черту — огромный вопрос». Ситуация усложняется тем, что вскоре свои линии начнут рисовать правительства. Авторитарные режимы могут использовать механизм рефюзала не для блокирования вреда, а для стирания критики и легитимной речи. AI уже отказывает комментировать определённых авторитарных лидеров. Pentagon борется с компаниями за собственные рефюзалы.

«Когда рефюзал работает идеально, он может включать серьёзные акты репрессии», — пишет автор. Или в худшем случае: машины начнут рисовать линию сами.