Xiaohongshu и Фуданьский университет строят DR-Rubric для RL на открытых задачах

Xiaohongshu и Фуданьский университет представили DR-Rubric, работу для NeurIPS 2026 о построении оценочных рубрик для обучения с подкреплением на открытых задачах. Публикацию разобрало издание Jiqizhixin. Доступный фрагмент описывает постановку проблемы, цифр по бенчмаркам в нём нет. Поэтому ниже разбирается, какую задачу решают авторы и что в статье стоит проверить.

Где ломается проверяемая награда

С математикой всё просто. Есть стандартный ответ, модель его угадала или нет, награда считается автоматически. Именно на этом держится значительная часть недавних успехов RL в рассуждающих моделях.

Открытые задачи устроены иначе. «Опиши прогресс исследований в области», «сравни несколько технических маршрутов», «дай профессиональный совет с обоснованием»: единственно верной версии здесь нет. Ошибка при этом не бросается в глаза. Пропущенный ключевой факт, подмена одного понятия другим, слабая аргументация легко скрываются в гладком, уверенном тексте. Если награду выдаёт модель-оценщик по общему впечатлению, политика быстро учится писать красиво, а не точно.

Что такое рубрика и зачем она нужна

Общий ответ индустрии на эту проблему: заменить одну оценку набором конкретных критериев. Рубрика раскладывает «хороший ответ» на проверяемые пункты. Упомянуты ли ключевые факты, корректно ли использованы термины, подкреплён ли вывод аргументами. Оценщик отвечает на узкие вопросы, а итоговая награда складывается из них.

Слабое место такого подхода в самих рубриках. Их нужно откуда-то взять, причём под каждый запрос свои. Написанные вручную они дороги и не масштабируются. Сгенерированные моделью могут оказаться поверхностными или повторять слепые пятна самой модели. Судя по названию и вступлению, DR-Rubric работает именно над этим звеном. Расшифровка аббревиатуры и механика построения рубрик во фрагменте не раскрыты.

Что известно из публикации

• Авторы: Xiaohongshu (RedNote) и Фуданьский университет.
• Площадка: NeurIPS 2026.
• Предмет: построение стандартов оценки для RL в открытых задачах.
• Типы задач: обзор области, сравнение технических подходов, экспертные рекомендации.
• Главная трудность по тексту: определить, что считать хорошим ответом, когда эталона нет.
• Результаты, масштабы моделей и сравнение с базовыми методами во фрагменте не приведены.

Что проверить в полной статье

Для команд, которые обучают модели на открытых задачах, значение работы определяют несколько вопросов.

• Источник рубрик. Кто их создаёт: люди, модель или связка, и сколько это стоит в расчёте на один запрос.
• Качество критериев. Насколько рубрики совпадают с оценкой экспертов и различают правдоподобный текст и точный.
• Устойчивость к взлому награды. Не учится ли политика закрывать пункты формально, например упоминать нужные слова без содержания.
• Перенос. Работают ли рубрики за пределами областей, на которых их строили.
• Итог на задачах. Дают ли они выигрыш на независимых бенчмарках, а не только на собственных проверках авторов.

Практический вывод простой. Если вы запускаете RL на задачах без ответа, не полагайтесь на единый балл от LLM-судьи. Разбивайте оценку на атомарные критерии, добавляйте штрафные пункты за типичные ошибки и периодически сверяйте оценщика с разметкой людей. Полный текст DR-Rubric стоит читать с этим чеклистом: по нему быстро видно, решает ли метод проблему стоимости и взлома рубрик или только переносит её на другой этап.