El decodificado restringido no arruina el razonamiento de los LLM: pruebas en 11 modelos abiertos

El decodificado restringido —forzar la generación de un LLM a un formato predefinido— se ha considerado durante mucho tiempo un compromiso inevitable: si quieres un JSON válido o una respuesta con formato estricto, supuestamente tienes que pagarlo con calidad de razonamiento. Los autores del preprint arXiv 2610.35328 pusieron a prueba esta suposición en cuatro familias de modelos y once modelos abiertos. Su conclusión: el mecanismo de restricción en sí no rompe el razonamiento. Una parte significativa de las caídas observadas antes se explica por prompts y formatos de salida incomparables en los experimentos, no por la restricción como tal.

De dónde viene la desconfianza hacia el decodificado restringido

La intuición es comprensible. Si en cada paso se enmascara parte de los tokens, la distribución de probabilidades se distorsiona y supuestamente el modelo se ve obligado a elegir opciones peores. En la práctica, esto se respaldaba con comparaciones de "generación libre frente a salida estructurada". Pero en esas comparaciones no cambiaba solo la restricción. También cambiaba el prompt, el formato de respuesta y el método de extracción del resultado. Los autores demuestran que al alinear las condiciones, buena parte del efecto desaparece. Lo que se tomaba por el costo de la restricción resultaba ser el costo de plantear el problema de forma distinta.

Además, el trabajo ofrece una justificación teórica: las restricciones bien elegidas pueden mantener o incluso mejorar la calidad, porque eliminan del espacio de búsqueda rutas claramente inválidas.

Tres tipos de restricciones, tres efectos distintos

La aportación clave del trabajo es su taxonomía. En lugar de preguntar si el decodificado restringido perjudica, los autores distinguen tres clases de restricciones:

• Restricciones sobre la estructura de la salida. Definen el formato de la respuesta: un esquema, una plantilla, una gramática. Su objetivo es obtener un resultado legible por máquina.
• Restricciones sobre la validez de la respuesta. Enmascaran opciones no permitidas, por ejemplo una respuesta fuera del conjunto de valores admitidos. Estas restricciones aumentan la fiabilidad y la extraibilidad de la respuesta, porque los resultados inválidos simplemente no se generan.
• Restricciones sobre la trayectoria de razonamiento. Reducen las rutas posibles por las que el modelo llega a la respuesta. Si la trayectoria está bien elegida, mejora la calidad del razonamiento y, con ella, la precisión final.

La conclusión del estudio se resume así: el impacto del decodificado restringido depende del tipo de restricción y de qué parte del espacio de salida elimina. Si elimina ruido, hay una ganancia posible. Si corta rutas de razonamiento útiles, las pérdidas son reales.

Cómo se realizaron las pruebas

Los experimentos se llevaron a cabo en diversos benchmarks con estrategias modernas de decodificación restringida. Cobertura: cuatro familias de modelos y once modelos abiertos. Para los profesionales, la metodología es clave: las comparaciones se diseñaron para que las diferencias en prompts y formatos no se confundieran con el efecto de la propia restricción. Los autores publicaron el código, así que los resultados pueden reproducirse y aplicarse a otros stacks.

Qué cambiar en producción

Los equipos que construyen agentes, extracción de datos y llamadas a herramientas a menudo evitan la salida estructurada por miedo a perder calidad. Este trabajo da motivos para reconsiderar esa decisión. Antes de adoptar restricciones, conviene identificar a qué clase pertenecen: si solo definen la estructura o filtran respuestas inválidas, el riesgo para la precisión, según los datos del estudio, es bajo, mientras que la ganancia en estabilidad de parseo es notable.

En las pruebas A/B hay que comparar planteamientos equivalentes: las mismas instrucciones, el mismo formato de respuesta final, el mismo procedimiento de extracción. De lo contrario, se mide la diferencia entre prompts, no entre métodos de decodificación. Las restricciones sobre la trayectoria de razonamiento deben tratarse como una herramienta de ajuste de calidad: pueden ayudar, pero su utilidad hay que confirmarla con las propias tareas y los propios modelos.