Refinamiento paralelo en lugar de difusión: los DRLM alcanzan 93,9% en Sudoku-Extreme

Un nuevo método de razonamiento paralelo: generar y refinar en lugar de difundir

Microsoft Research ha presentado los Draft Refinement Language Models (DRLM), un enfoque innovador para modelar el razonamiento complejo. El método se aparta radicalmente de los dos paradigmas dominantes: no sigue ni la lógica secuencial token por token de los modelos autorregresivos, ni la lógica de paso inverso de la difusión. En cambio, los DRLM generan un borrador completo de la respuesta de una sola vez y luego lo refinan de forma iterativa proponiendo y evaluando correcciones en paralelo.

La idea central es simple: la respuesta final surge de refinar repetidamente el conjunto, no de una serie de decisiones microscópicas token a token. En cada iteración, el modelo considera todo el contexto —la pregunta original y el borrador actual— simultáneamente, lo que permite tomar decisiones de corrección mejor informadas.

Arquitectura: un único denoiser y el cavity-energy score

El DRLM utiliza un único denoiser, un módulo entrenado para reconstruir cada token a partir de borradores corrompidos de manera uniforme. Se trata de un entrenamiento de doble propósito: el modelo aprende tanto a preservar los tokens correctos como a corregir los erróneos. Las predicciones del denoiser determinan directamente las correcciones propuestas sin ejecutar una transformación de difusión inversa; esto es lo que distingue fundamentalmente al DRLM de los modelos clásicos de difusión discreta.

La innovación central es el cavity-energy score, una métrica para evaluar la calidad del borrador que se calcula en un solo forward pass, sin necesidad de un modelo verificador separado. El cavity-energy mide qué tan bien está respaldado cada token por su contexto circundante. Los autores emplean un proceso de corrupción de datos conocido para corregir el self-token evidence —la influencia del propio token sobre su puntuación—, lo que permite obtener una medida limpia del respaldo contextual de cada posición.

El proceso de refinamiento es estrictamente iterativo: (1) a partir del borrador actual, proponer correcciones para todas las posiciones en paralelo; (2) calcular el cavity-energy del candidato completo en su contexto refinado (un solo forward pass); (3) conservar la corrección solo si el nuevo valor de cavity-energy es menor que el anterior.

Resultados en tres benchmarks de razonamiento complejo

Los autores probaron el DRLM en tres tareas que exigen un razonamiento combinatorio profundo. Todas las pruebas se realizaron con un modelo de 6M de parámetros:

• Countdown-5: el DRLM alcanzó 44,4% de precisión, 34,1 puntos porcentuales por encima del mejor baseline de difusión discreta (10,3%) • Sudoku-Extreme: el DRLM resolvió 93,9% de los problemas, superando el baseline en 28,4 puntos (baseline: 65,5%) • Maze-Hard: el DRLM obtuvo 73,0%, 33,7 puntos por encima del baseline (baseline: 39,3%)

Las mejoras de 28 a 34 puntos porcentuales representan un avance de fondo. Es importante destacar que el DRLM no necesita un modelo de puntuación separado: el cavity-energy se calcula en paralelo con el modelo principal dentro de un único forward pass.

Qué significa para el campo

El refinamiento completo de borradores es una alternativa viable y eficaz tanto a los procesos de difusión inversa como a la decodificación autorregresiva. Esto resulta especialmente crítico en tareas de razonamiento complejo, donde el modelo debe coordinar decisiones entre múltiples variables de forma simultánea.

El refinamiento paralelo permite al modelo evaluar explícitamente candidatos completos y elegir aquellos mejor respaldados por el contexto, una medida de calidad más honesta que elegir un token a la vez, de forma secuencial.

Autores: Jaesang Yu, Seoyeon Byun, Yun Wang, Yan Lu, Juho Kim

Organización: Microsoft Research

Fecha de publicación: 19 de octubre de 2026

Tamaño del modelo: 6M de parámetros