Un DRLM de 6M de parámetros resuelve el 93,9% de Sudoku-Extreme sin paso inverso de difusión

El modelo Draft Refinement Language Model, o DRLM, tiene solo 6 millones de parámetros y resuelve el 93,9% de las tareas de Sudoku-Extreme y el 44,4% de las de Countdown-5. Según los autores, en Countdown, Sudoku-Extreme y Maze-Hard supera tanto a los modelos base autorregresivos como a los de difusión discreta. Su principal diferencia es que DRLM no usa ningún paso inverso de difusión. Corrige el borrador completo y acepta un cambio únicamente si el resultado mejora según una métrica interna.

El problema: buenos tokens no garantizan una buena respuesta

Para razonar, un borrador resulta útil porque permite revisar cada decisión teniendo en cuenta todas las demás. En el sudoku, la cifra de una casilla solo tiene sentido junto con las de las casillas vecinas. La difusión discreta, con su eliminación de ruido repetida, no garantiza esa coherencia. Cada actualización de un token parece plausible por separado, pero el conjunto no tiene por qué dar una respuesta mejor. Los autores construyen su método en torno a esa brecha.

Cómo funciona DRLM

El sistema tiene un único denoiser, que cumple dos funciones. Se entrena para reconstruir cada token a partir de borradores corrompidos de forma uniforme. En el entrenamiento participan tanto los tokens dañados como los intactos, de modo que el modelo aprende a la vez a conservar lo correcto y a reparar lo incorrecto. Las predicciones del denoiser definen directamente las correcciones, así que no hace falta un paso inverso de difusión.

La segunda función es más compleja: evaluar al candidato. La confianza del modelo en un token existente se compone de dos partes. La primera es el apoyo del contexto, es decir, del prompt y del resto del borrador. La segunda es la evidencia que aporta el mero hecho de que el token aparezca en la entrada. Esta segunda parte infla la confianza en lo que ya está escrito. Como el proceso de corrupción es conocido, los autores restan ese autoefecto y obtienen una estimación de cuánto respalda al token el resto del contexto.

Energía de cavidad y ciclo de cada ronda

Las puntuaciones por token se agregan en la «energía de cavidad» (cavity energy). Se calcula en un único forward pass y no requiere un modelo scorer adicional. Cada ronda funciona así:

• el denoiser propone una corrección paralela del borrador;
• el candidato resultante se vuelve a leer, ya dentro de su nuevo contexto;
• la corrección se conserva solo si la energía del candidato es menor que la del borrador actual.

Así, el proceso cuenta con un criterio de reversión. Una mala corrección no se acumula, como puede ocurrir con el denoising iterativo ciego.

Qué mostraron las pruebas

• Benchmarks: Countdown, Sudoku-Extreme, Maze-Hard.
• Modelos base: autorregresivos y de difusión discreta; DRLM los supera.
• Tamaño: 6M de parámetros.
• Countdown-5: 44,4%.
• Sudoku-Extreme: 93,9%.

Las limitaciones también son evidentes. Los tres conjuntos son tareas sintéticas con una estructura rígida y verificable, y el modelo es diminuto. El resumen del artículo no permite saber cómo se comportará el método con texto abierto, código o cadenas largas de razonamiento. Tampoco está claro cuánto de la ventaja se mantendrá al escalar a miles de millones de parámetros. El resumen no incluye las cifras de los modelos base, así que el tamaño de la diferencia hay que consultarlo en el propio artículo.

Qué deben hacer los profesionales con esto

Para quienes construyen sistemas de razonamiento, lo valioso es el esquema en sí: «proponer, releer, aceptar o rechazar». Aporta un verificador integrado sin un segundo modelo, de modo que no añade el coste de un reward model aparte ni de un juez externo. Si en sus tareas importa la coherencia global (planificación, restricciones, rompecabezas, salida estructurada), el método merece una prueba de reproducción. Lo primero es compararlo con su base autorregresiva a igual presupuesto de cómputo. Conviene vigilar si aparecen resultados en tareas de lenguaje natural y de código. Por ahora, es una propuesta convincente para una clase de tareas con respuesta verificable, no un sustituto listo de los LLM de propósito general.