Параллельное уточнение вместо диффузии: DRLMs достигли 93,9% на Sudoku-Extreme

Новый метод параллельного рассуждения: генерация и уточнение вместо диффузии

Microsoft Research представила Draft Refinement Language Models (DRLMs) — инновационный подход к моделированию сложного рассуждения. Метод кардинально отличается от двух доминирующих парадигм: он не следует ни логике последовательной генерации токен-за-токеном (как autoregressive модели), ни логике обратного хода диффузии. Вместо этого DRLMs генерируют полный чёрновик ответа за один раз, затем итеративно его уточняют через предложение и оценку параллельных исправлений.

Ключевая идея проста: окончательный ответ — результат циклического уточнения целого, а не множества микроскопических выборов на каждом шаге. На каждой итерации модель рассматривает весь контекст — исходный вопрос и текущий чёрновик — одновременно, что позволяет принимать более информированные решения об исправлениях.

Архитектура: единый denoiser и cavity-energy score

DRLM использует единственный denoiser — модуль, обученный восстанавливать каждый токен из равномерно повреждённых черновиков. Это двойного назначения обучение: модель учится как сохранять корректные токены, так и исправлять ошибочные. Предсказания denoiser напрямую определяют предлагаемые исправления без проведения обратного преобразования диффузии — это принципиально отличает DRLM от классических discrete diffusion моделей.

Центральная инновация — cavity-energy score, метрика оценки качества чёрнового варианта, вычисляемая за один forward pass без отдельного verifier model. Cavity-energy измеряет, насколько хорошо каждый токен поддерживается своим окружающим контекстом. Авторы используют известный процесс коррупции данных для корректировки self-token evidence — влияния самого токена на его собственную оценку. Это позволяет получить чистую меру контекстной поддержки каждой позиции.

Процесс уточнения строго итеративный: (1) на основе текущего варианта предложить исправления для всех позиций параллельно; (2) вычислить cavity-energy для завершённого кандидата в его уточнённом контексте (один forward pass); (3) сохранить исправление только если новое значение cavity-energy ниже, чем было ранее.

Результаты на трёх бенчмарках сложного рассуждения

Авторы протестировали DRLM на трёх задачах, требующих глубокого комбинаторного рассуждения. Все тесты проводились на модели с 6M параметров:

• Countdown-5: DRLM достигла 44,4% точности, на 34,1 процентных пункта выше лучшего discrete diffusion baseline (10,3%) • Sudoku-Extreme: DRLM решила 93,9% задач, превысив baseline на 28,4 п.п. (baseline: 65,5%) • Maze-Hard: DRLM показала 73,0%, на 33,7 п.п. выше baseline (baseline: 39,3%)

Преимущества в 28—34 процентных пункта — это принципиальное улучшение. Важно: DRLM не требует отдельной scoring model. Cavity-energy вычисляется параллельно с основной моделью в рамках одного forward pass.

Значение для области

Полное уточнение черновиков — жизнеспособная и эффективная альтернатива как reverse diffusion процессам, так и autoregressive decoding. Особенно это критично для задач сложного рассуждения, где модель должна координировать выборы между несколькими переменными одновременно.

Параллельное уточнение позволяет модели явно оценивать целые кандидаты и выбирать те, которые имеют наилучшую поддержку контекстом — более честная оценка качества, чем последовательный выбор одного токена за раз.

Авторы: Jaesang Yu, Seoyeon Byun, Yun Wang, Yan Lu, Juho Kim

Организация: Microsoft Research

Дата публикации: 19 октября 2026

Размер модели: 6M параметров