DRLM на 6M параметров решает Sudoku-Extreme в 93,9% случаев без обратной диффузии

Модель Draft Refinement Language Model, сокращённо DRLM, у которой всего 6 млн параметров, решает 93,9% задач Sudoku-Extreme и 44,4% задач Countdown-5. По данным авторов, на Countdown, Sudoku-Extreme и Maze-Hard она обходит и авторегрессионные, и дискретные диффузионные базовые модели. Главное отличие в том, что DRLM вообще не использует обратный диффузионный переход. Она правит черновик целиком и принимает правку, только если результат стал лучше по внутренней метрике.

Проблема: хорошие токены не гарантируют хороший ответ

Черновик полезен модели для рассуждения тем, что позволяет пересматривать каждое решение с учётом остальных. В судоку цифра в одной клетке имеет смысл только вместе с цифрами в соседних. Дискретная диффузия с её повторным шумоподавлением такой согласованности не гарантирует. Каждое обновление токена по отдельности выглядит правдоподобно, но вместе они не обязаны давать лучший ответ. Авторы строят метод вокруг этого зазора.

Как устроен DRLM

В системе один денoйзер, и он выполняет две роли. Его обучают восстанавливать каждый токен из равномерно испорченных черновиков. В обучении участвуют и повреждённые токены, и нетронутые, поэтому модель учится одновременно сохранять верное и чинить неверное. Предсказания денoйзера сразу задают правки, и обратный диффузионный переход для этого не нужен.

Вторая роль сложнее: оценка кандидата. Уверенность модели в существующем токене складывается из двух частей. Первая — поддержка со стороны контекста, то есть промпта и остального черновика. Вторая — свидетельство, которое даёт сам факт, что токен виден на входе. Вторая часть завышает уверенность в том, что уже написано. Поскольку процесс порчи известен, авторы вычитают этот самоэффект и получают оценку того, насколько токен поддержан остальным контекстом.

Энергия полости и цикл раунда

Оценки по токенам агрегируются в «энергию полости» (cavity energy). Её считают за один прямой проход, дополнительная модель-скорер не нужна. Раунд выглядит так:

• денoйзер предлагает параллельную правку черновика;
• готовый кандидат читается заново уже в своём новом контексте;
• правка сохраняется, только если энергия кандидата ниже, чем у текущего черновика.

В результате у процесса есть критерий отката. Плохая правка не накапливается, как это может быть при слепом итеративном шумоподавлении.

Что показали тесты

• Бенчмарки: Countdown, Sudoku-Extreme, Maze-Hard.
• Базовые модели: авторегрессионные и дискретные диффузионные, DRLM их превосходит.
• Размер: 6M параметров.
• Countdown-5: 44,4%.
• Sudoku-Extreme: 93,9%.

Ограничения тоже очевидны. Все три набора — синтетические задачи с жёсткой проверяемой структурой, причём модель крошечная. Из аннотации не видно, как метод поведёт себя на открытом тексте, коде или длинных цепочках рассуждений. Неясно и то, насколько сохранится выигрыш при масштабировании в миллиарды параметров. Числа базовых моделей в аннотации не приведены, так что величину отрыва придётся смотреть в самой статье.

Что с этим делать практикам

Для тех, кто строит reasoning-системы, ценна сама схема «предложить, перечитать, принять или отклонить». Она даёт встроенный верификатор без второй модели, а значит, не добавляет затрат на отдельный reward-model или внешнего судью. Если на ваших задачах важна глобальная согласованность (планирование, ограничения, головоломки, структурированный вывод), метод стоит проверить на воспроизведении. Первым делом нужно сравнить его с вашей авторегрессионной базой при равном вычислительном бюджете. Следить стоит за тем, появятся ли результаты на задачах с естественным языком и кодом. Пока это убедительная заявка для класса задач с проверяемым ответом, а не готовая замена LLM общего назначения.