TACO: метод устраняет «загрязнение» кредитом при RL-обучении языковых моделей

Исследователи опубликовали на arXiv 10 июля 2026 года метод TACO — Tail-Aware Credit Calibration — для улучшения обучения языковых моделей с подкреплением. Метод устраняет системный изъян RL-алгоритмов: ситуацию, когда маловероятные и контекстуально ошибочные токены получают такой же положительный кредит, что и правильные, постепенно деградируя качество рассуждений.

Почему равномерный кредит разрушает рассуждения

Critic-free RL-методы для LLM — такие как GRPO — работают по одному принципу: если ответ модели признан правильным, все токены этого ответа получают одинаковый положительный кредит. Логика понятна: зачем дифференцировать токены, если ответ в целом верный?

Проблема в деталях. Среди токенов правильного ответа неизбежно оказываются «хвостовые» — маловероятные, нетипичные для данного контекста. Они могут быть синтаксически или семантически ошибочны локально, однако попали в верный ответ «по случайности». Получая тот же кредит, что и корректные токены, они постепенно обучают модель воспроизводить подобные паттерны.

Авторы называют это Positive-Credit Contamination — загрязнение положительным кредитом. Эффект накапливается: чем дольше RL-сессия, тем больше ошибочных паттернов закрепляется в модели.

• Проблема затрагивает все critic-free RL-методы, включая GRPO и REINFORCE
• «Хвостовые» токены — маловероятные и нетипичные для контекста — усиливаются наравне с корректными
• При длинных обучающих сессиях стандартные методы нередко деградируют по качеству ответов

Как TACO вычисляет риск каждого токена

TACO добавляет в RL-пайплайн один новый компонент — tail-risk score: оценку для каждого токена того, насколько он является нежелательным «хвостовым» случаем.

Ключевая идея — разделение двух видов редкости. Первый: «редкий из-за неопределённости» — модель стоит в точке множества равно допустимых вариантов и исследует пространство ответов. Это нормально, и такие токены продолжают получать полный кредит. Второй: «редкий из-за ошибки» — контекстуальная аномалия, которая не вписывается в распределение корректных ответов. Именно этот тип подавляется.

При этом TACO не обнуляет градиент рискованных токенов полностью, а лишь снижает их положительный кредит. Такой подход сохраняет полезные редкие паттерны, встречающиеся систематически, и постепенно гасит случайный шум.

Что показали тесты на восьми бенчмарках

Метод протестирован на трёх языковых моделях и восьми стандартных бенчмарках оценки рассуждений. TACO стабильно превзошёл базовые решения на основе GRPO по всем наборам.

Наиболее показателен результат по стабильности обучения. Стандартные critic-free методы нередко деградируют в длинных RL-сессиях: кредитный сигнал засоряется, качество перестаёт расти. TACO обеспечил устойчивый рост показателей на протяжении всего обучения без откатов — что особенно важно для долгосрочного RL, лежащего в основе современных reasoning-моделей.

Исходный код опубликован на GitHub: github.com/xiuyilou/TACO.

Что это значит

Проблема равномерного кредита в RL для LLM давно обсуждается в сообществе, но до сих пор не имела простого встраиваемого решения. TACO компактен и встраивается поверх существующего пайплайна без перестройки архитектуры. В 2025–2026 годах практически все frontier-лаборатории используют долгосрочное RL как ключевой метод улучшения reasoning-способностей моделей. Если TACO воспроизведётся в более крупных экспериментах, метод может стать стандартным компонентом RL-обучения следующего поколения.