Правка одной оси в весах Qwen без обучения снизила долю зацикленных ответов с 93% до 33%

Представьте, что ваша модель в продакшене то и дело застревает в цикле «подожди, проверю ещё раз», сжигает весь лимит токенов и так и не выдаёт ответ. Обычно это лечат дообучением. Но в MIT CSAIL показали другой путь: модель GPT-6 Astra правила веса чужой нейросети напрямую, без градиентов и обучения. На маленькой Qwen3.5-0.8B доля ответов, которые на олимпиадных задачах уходили в бесконечный повтор, упала с 93% до 33,1%. Для этого изменили 131 072 веса в двух слоях, а сама правка сводится к развороту одного направления. Это вторая часть разбора на Habr: автор объясняет, почему петля рвётся и почему таким способом нельзя добавить модели новый навык. Для инженера вывод практический: прежде чем что-то чинить, надо понять, чего модели не хватает.

Почему петля рвётся

Автор побитово сравнил базовый и опубликованный чекпойнт. Изменены матрицы down_proj в слоях 15 и 19, и правка имеет ранг 1: 99,999% её энергии лежит в одном направлении. Его не вычли, а развернули: компонента вдоль этой оси сменила знак.

Механику проще всего представить как голосование. На каждом шаге модель решает, продолжать ли тот же кусок текста или выйти: закрыть блок рассуждений, написать ответ, сменить мысль. Слои 15 и 19 раньше подбрасывали голос «продолжай». После правки они голосуют «выходи», и чаша весов чаще склоняется к выходу. Автор признаёт, что это допущение: следующие слои могут частично компенсировать сдвиг.

Он проверил идею на двух текстах: обычном решении уравнения на 220 токенов и искусственной петле «Wait, let me check again…» на 397 токенов. На петле базовые MLP писали вдоль нужной оси сильнее: в 1,4 раза в слое 15 и в 1,9 раза в слое 19. После правки знак стал противоположным. Два текста — иллюстрация, а не статистика, и автор прямо об этом пишет.

Падение с 93% до 33,1% в простой модели соответствует росту шанса выхода на каждом токене примерно в 15 раз. Это пересчёт цифр статьи, а не прямое измерение. Но он объясняет суть: когда выйти из петли можно только с крошечным шансом на каждом шаге, а шагов десятки тысяч, доля застрявших ответов очень чувствительна к этому шансу. Самопроверка Astra тоже сходится: 576 из 579 «спасённых» задач были бывшими обрывами, а точность на ответах, которые и раньше доходили до конца, не изменилась.

Выключатель не учит

Главное ограничение: проекция ничего не добавляет. Новое представление вычисляется из старого, информации о правильном ответе в нём не становится больше, а размерность не растёт. Строгого запрета тут нет: правка с разворотом обратима, а вычисление может сделать информацию доступнее. Поэтому сильный вывод автор формулирует на уровне модели. Одна ось с одним масштабом может переключить режим «продолжать» или «выходить», но не может вписать новый алгоритм, например корректную многозначную арифметику.

Это совпадает с провалом на Gemma. Qwen умела решать, просто не могла остановиться, и правка убрала помеху. У Gemma ловушки почти нет, ошибки распределены по самим вычислениям, и «выключателя неумения считать» не существует. Плюс в Gemma 3 270M около 62,6% параметров занимают эмбеддинги, а на 18 слоёв трансформера остаётся примерно 100 млн.

Совсем иначе в игрушечной задаче с сетью на 171 664 веса. Там нужно было добавить одно правило вроде «сначала сдай назад, потом газ». Его можно вписать вручную парой «если — то» на ReLU-юнитах, это около 5 900 весов, или примерно 3,4%. Автор сверяет оценку с 3,5% из поста: порядок тот же. Вписать руками можно то, что описывается коротко.

Родственные работы и что взять в практику

ROME и MEMIT тоже правят MLP-матрицы, но добавляют факты («Эйфелева башня находится в…» с новым ответом), а не убирают помеху. Метод «направления отказа» Arditi и коллег ортогонализует все матрицы, пишущие в поток. Правка Astra из 50 прогонов локальнее: 2 матрицы и 64 столбца. Правка из 10 прогонов ближе к Arditi: 30 матриц.

Для практики автор советует такую рамку. Если модель умеет решать, но зацикливается, точечная правка весов может помочь. Если ошибки в самих вычислениях, не поможет. Остаётся и риск: правка меньше процента весов заметно меняет поведение, а контрольная правка со случайным направлением той же нормы нужна, чтобы отличить эффект от побочных помех. Правку ранга 1 легко увидеть по диффу двух тензоров, но размазанную по многим направлениям найти сложно.

В справочной части он разбирает и устройство весов. В Llama 3.1 8B около 70% параметров лежат в MLP. В MoE-моделях вроде Mixtral, Qwen3-30B-A3B и DeepSeek-V3 95–97% весов находятся в экспертах, и правку придётся вести с учётом роутера.