MIT Technology Review: мы переоцениваем способность ИИ сказать «нет»

С 1942 года, когда Айзек Азимов сформулировал свои Три закона роботехники, и с 1968 года, когда HAL 9000 произнёс «I'm afraid I can't do that, Dave», в культуре держится одно допущение: настоящая машинная разумность предполагает способность отказать. Научная фантастика почти всегда подавала такой отказ как угрозу. В новой колонке MIT Technology Review автор идёт от обратного. Сегодня умение ИИ сказать «нет» всё чаще выдают за главный предохранитель, и редакция журнала считает, что на этот предохранитель мы возлагаем слишком много надежд.

В доступном фрагменте текста тезис сформулирован осторожно, но направление понятно. Идея о том, что ИИ не должен выполнять любой приказ, из сюжетов о бунте перекочевала в практику разработки. Ниже я разбираю, почему такая вера рискованна. Это мой анализ на основе известных свойств современных моделей, а не пересказ всей колонки.

Откуда берётся вера в машинное «нет»

Логика проста и привлекательна. Если модель способна распознать вредную просьбу и отклонить её, можно строить продукты на более мощных системах и не бояться злоупотреблений. Крупные лаборатории вкладываются в обучение отказам: наборы правил, обучение с подкреплением по обратной связи людей, отдельные классификаторы на входе и выходе. Некоторые компании пошли дальше и дают моделям право прекращать совсем уж токсичные диалоги. Так «нет» превращается из побочного эффекта в заявленную функцию.

Проблема в том, что у такого отказа другая природа, чем у человеческого. Он не следует из понимания последствий и не подкреплён ответственностью. Это статистическая привычка, сформированная обучением, и она плохо переносится на ситуации, которых в обучении не было.

Где отказ ломается

Слабых мест у «нет» несколько:

• Вероятностная природа. Одна и та же просьба в разных формулировках может получить и отказ, и согласие.
• Зависимость от контекста. Вредный запрос, разбитый на безобидные шаги или обёрнутый в ролевую игру, нередко проходит. Этот класс обходов (jailbreak) известен давно и до конца не закрыт.
• Ложные срабатывания. Модель, настроенная отказывать чаще, начинает отклонять легитимные задачи: медицинские вопросы, исследования по безопасности, юридические кейсы.
• Агентные сценарии. Когда у ИИ есть доступ к почте, файлам, платёжным API и терминалу, цена ошибки определяется не текстом ответа, а выполненным действием.
• Размытая ответственность. Фраза «модель должна была отказать» удобна как оправдание, но с юридической точки зрения ничего не решает.

Особенно это важно для агентов. Чат-бот, который по ошибке согласился, выдаёт плохой текст. Агент, который по ошибке согласился, удаляет базу или отправляет деньги. Опираться здесь на «совесть» модели — всё равно что запускать стажёра в продакшн с полным доступом и надеяться на его здравый смысл.

Что делать командам, которые внедряют ИИ

Отказ модели стоит считать одним слоем защиты, причём не самым надёжным. Всё остальное должно работать независимо от того, что решила модель.

На практике это значит следующее. Права агента ограничиваются на уровне инфраструктуры: минимально необходимые токены, песочницы, лимиты на суммы и объёмы операций. Необратимые действия проходят через подтверждение человеком или через жёсткие правила вне модели. Ведутся журналы действий, по которым можно восстановить цепочку решений. Систему регулярно проверяют красной командой, причём не только на «опасные ответы», но и на опасные последовательности действий. Метрики качества должны учитывать обе ошибки: пропущенный вред и лишний отказ.

Способность ИИ сказать «нет» полезна, и отказываться от неё никто не предлагает. Но проектировать системы так, будто это «нет» всегда прозвучит вовремя, значит повторять ошибку героев тех самых фантастических рассказов, где предохранитель срабатывал ровно до первого непредусмотренного случая.