Исследователи CMU научили RL-модели не лить воду: FORK поднял win rate с 22% до 74%

Обучение с подкреплением на рубриках стало одним из рабочих способов прокачивать модели там, где нет автоматической проверки правильности: в медицинских консультациях, длинных объяснениях, открытых вопросах. Но у метода обнаружился побочный эффект, знакомый каждому, кто читал ответы современных чат-ботов: они пухнут. Группа исследователей из Carnegie Mellon University и их коллег показала, что причина сидит прямо в устройстве награды, и предложила исправление под названием FORK. На медицинских бенчмарках оно подняло долю побед над базовой моделью с 10,6% до 68,0% на RubricHub-Medical и с 22,1% до 74,1% на HealthBench.

Почему рубрика награждает болтливость

Рубрика — это список критериев, которым должен удовлетворять хороший ответ: упомянуть противопоказание, назвать симптом, предложить обратиться к врачу. Награда обычно считается как взвешенная доля выполненных пунктов. По сути, это recall: сколько из нужного модель покрыла.

Проблема в том, что у такой метрики нет верхней границы по длине. Каждая лишняя фраза — это ещё один шанс случайно закрыть критерий, а штрафа за мусор нет. RL-политика быстро это находит. Ответы становятся полнее, но и многословнее, в них появляются ненужные куски и фактические ошибки. В итоге обученная модель проигрывает исходной в прямом сравнении: людям и судьям больше нравятся ответы базовой версии, хотя по рубрике они формально слабее. Классический пример reward hacking, только без явного жульничества: модель честно оптимизирует то, что ей измеряют.

Что добавляет FORK

Авторы вводят вторую цель — precision. Требование простое: каждая единица ответа должна быть одновременно необходимой и фактически верной. Для этого используются два механизма:

• necessity credits — кредиты необходимости, которые выводятся из самой рубрики и показывают, какой фрагмент ответа реально нужен для покрытия критериев;
• factual-correctness grader — отдельный оценщик, проверяющий фактическую точность каждого фрагмента.

FORK оптимизирует recall и precision совместно. Лишняя фраза, которая не работает ни на один критерий, перестаёт быть бесплатной, а неверное утверждение прямо снижает награду. Модели выгодно писать плотно.

Что показали эксперименты

По данным статьи (arXiv 2610.33512), FORK обходит существующие методы rubric-based RL и выходит на Парето-оптимальный баланс между покрытием рубрики и общим качеством ответа. Ключевые результаты:

• по сравнению с исходной наградой на основе recall, precision заметно выше, а длина ответов сокращается;
• покрытие рубрик при этом остаётся на сопоставимом уровне: модель не жертвует полнотой ради краткости;
• win rate против базовой политики на RubricHub-Medical вырос с 10,6% до 68,0%;
• win rate против базовой политики на HealthBench вырос с 22,1% до 74,1%.

Само по себе то, что базовые модели выигрывали у RL-версий в 78–89% случаев, — показательная цифра. Она говорит, что оптимизация по рубрике без контроля precision давала формальный прирост на метрике и реальную деградацию в глазах оценщика.

Над работой трудились Hyun Ryu, Jong-Heon Kim, Yiqing Xie, Seungone Kim, Carolyn Rose и Eunho Yang. Статья попала в Hugging Face Daily Papers, а код выложен в репозитории JHKim631/FORK на GitHub.

Что с этим делать практикам

Команды, которые дообучают модели на рубриках, особенно в медицине, праве и финансах, где цена неточного лишнего утверждения высока, получают конкретный чек-лист. Во-первых, смотреть не только на покрытие рубрики, но и на длину ответов и долю неверных утверждений: рост длины при стабильной метрике — тревожный сигнал. Во-вторых, добавлять в награду штраф за ненужное содержимое и отдельную проверку фактов, а не надеяться, что судья сам «накажет» воду. В-третьих, сравнивать обученную модель с базовой в парных предпочтениях: именно там reward hacking и всплыл.

Ограничение очевидно: FORK требует дополнительного грейдера фактической точности, а значит, дополнительных вычислений на каждом шаге обучения и зависимости от качества этого грейдера. Зато идея переносится за пределы медицины: везде, где ответ оценивается по списку критериев, награда по одному лишь recall будет толкать модель к многословию.