Inkling 2 Small выругалась 316 раз, но почти не помогла предсказать сбои

Иногда модель ломается почти по-человечески: несколько раз ошибается, объявляет, что «ничего не работает», ругается — и продолжает генерировать текст. Именно такое поведение исследователи Vals AI обнаружили во внутренних журналах Inkling 2 Small от Thinking Machines. Забавная деталь быстро превращается в инженерную: можно ли по эмоционально окрашенным словам заранее понять, что модель потеряла ход решения?

Короткий ответ — нет. Ругательства заметны, но как сигнал отказа работают плохо. Для разработчика полезнее смотреть не на лексику модели, а на повторяемость фраз, длину генерации, расход токенов и отсутствие продвижения к результату.

Что нашли в журналах

Исследователи просмотрели 2655 запусков на 13 тестах. Слово «fuck» и его варианты появились в 50 запусках — всего 316 раз. При этом 241 случай пришёлся лишь на две генерации, которые зациклились.

Самый наглядный эпизод возник в задаче о расчёте траектории астероида. Вместо компактного решения модель выдала около 500 тысяч символов: повторяла одни и те же предложения и 158 раз использовала ругательство. Это уже не проблема тона. Такой ответ зря расходует вычислительные ресурсы, увеличивает задержку и может занять контекст следующего этапа агентного процесса.

Особенно часто эффект встречался в ProgramBench: он проявился в 20 из 200 запусков. Обычно модель ругалась после собственной ошибки, при мнимом прорыве или перед отказом от дальнейших попыток. Получается узнаваемая картина: решение не сходится, внутренний монолог становится резче, затем генерация либо обрывается, либо уходит в повтор.

Почему это плохой датчик ошибки

На первый взгляд корреляция сильная: 46 из 48 оценённых запусков с руганью закончились неудачей. Но общий уровень провалов и без того составлял около 75%. Ещё важнее другое: 96% всех неудачных запусков не содержали ругательств вообще.

Представим сервис, который помечает ответ как подозрительный при появлении мата во внутреннем журнале. Он действительно поймает несколько ярких аварий. Но подавляющее большинство ошибок пропустит. Это как отслеживать перегрев сервера по запаху пластика: серьёзный признак, когда он появился, однако ждать его для мониторинга слишком поздно.

Ругательство можно оставить дополнительным диагностическим признаком, но строить на нём защиту нельзя. Оно также зависит от языка, обучающих данных и настроек модели. После обновления модели такой индикатор способен исчезнуть, хотя сами зацикливания останутся.

Что делать разработчикам

Для продакшена нужны признаки, связанные с самим сбоем. Ограничивайте максимальное число токенов и время выполнения. Считайте повторяющиеся фрагменты, отслеживайте резкий рост ответа и завершайте генерацию, если модель несколько шагов подряд не приближается к проверяемому результату. В агентных системах задавайте лимит попыток и сохраняйте причину остановки отдельно от текста рассуждений.

Полезно также проверять результат внешним способом: запускать тесты для кода, валидировать числа, требовать структурированный ответ или привлекать отдельный оценщик. Внутренний журнал может помочь при разборе инцидента, но не должен быть единственным источником истины.

Практический вывод простой: необычная лексика модели — интересный симптом, а не надёжная метрика. Если система способна породить 500 тысяч символов повторов, чинить нужно прежде всего контроль генерации. Словарь запрещённых слов здесь косметика; лимиты, детектор циклов и проверка результата — настоящая страховка.