GRAPHEVAL: un nuevo marco basado en grafos revela que Self-Consistency oculta errores en el razonamiento de los LLM

Investigadores publicaron en julio de 2026 en arXiv un artículo con el marco GRAPHEVAL para evaluar la validez del razonamiento de los modelos de lenguaje. La conclusión principal: el método estándar Self-Consistency pasa por alto de forma sistemática los errores lógicos, porque compara solo las respuestas finales e ignora por completo los pasos intermedios del razonamiento.

Por qué

Self-Consistency no detecta los errores de razonamiento

Self-Consistency (SC) es una de las formas más populares de aumentar la fiabilidad de los modelos de lenguaje. El principio es sencillo: el modelo genera varias soluciones para un mismo problema y, mediante votación por mayoría, se elige la respuesta final más frecuente. Esto filtra bien los fallos aleatorios, pero deja un punto ciego.

Varias cadenas de razonamiento pueden llegar perfectamente a la misma respuesta por caminos lógicos muy distintos, incluidos caminos erróneos. El modelo parece seguro, se alcanza el consenso, pero la estructura del razonamiento sigue siendo incoherente. Los autores llaman a este fenómeno «alucinaciones seguras»: el modelo no expresa incertidumbre, pero sus pasos intermedios no superan la comprobación de coherencia lógica.

Qué propone GRAPHEVAL

El marco replantea la cuantificación de la incertidumbre (uncertainty quantification) como la medición de la validez lógica de todo el espacio de razonamiento, y no solo de las respuestas finales. Los autores introducen dos herramientas nuevas:

• GRCS (Graph Reasoning Coherence Score) es una métrica que captura el consenso semántico y estructural en la representación del razonamiento como grafo. Detecta a la vez el colapso de modo (mode collapse) patológico y las alucinaciones seguras.
• GSC (Graph Self-Consistency) es una estrategia de decodificación basada en el medoide: en lugar de votar por la respuesta final, elige la cadena de razonamiento estructuralmente más cercana a todas las demás.

GRCS resultó ser la única métrica con una correlación negativa consistente con el razonamiento erróneo, tanto en modelos grandes como pequeños.

Qué mostraron los experimentos

Los autores probaron el marco en modelos de distintas escalas y registraron varias pautas clave:

• En los modelos pequeños, GSC muestra con claridad cuánto infla SC la precisión mediante «aciertos por suerte»: los modelos llegan a menudo a la respuesta correcta por un camino erróneo, y SC no lo detecta.
• En los modelos más potentes, GSC mantiene o mejora la precisión y, a la vez, aumenta la validez lógica del razonamiento.
• La ablación adversaria del medoide (adversarial medoid ablation) confirmó que el camino elegido por GSC es «de carga»: forzar una desviación respecto a él reduce la validez del razonamiento y, en algunos casos, empeora la precisión de las respuestas.

Qué significa

Las métricas de precisión estándar y Self-Consistency enmascaran un problema de fondo: los modelos de lenguaje pueden adivinar la respuesta correcta sin ser capaces de razonar bien. GRAPHEVAL ofrece herramientas que separan «saber adivinar» de «saber pensar», y eso cambia el marco para comparar y evaluar modelos de lenguaje, tanto en el ámbito académico como en el aplicado.

Preguntas frecuentes

¿En qué se diferencia GSC del Self-Consistency estándar?

El SC estándar toma la respuesta mayoritaria entre todas las soluciones generadas. GSC elige la cadena de razonamiento estructuralmente más cercana a todas las demás (el medoide). Así se puede evaluar el camino lógico hasta la respuesta, y no solo el resultado final.

¿Es aplicable GRAPHEVAL a modelos de cualquier tamaño?

Los autores probaron el marco en modelos de distintas escalas. GRCS mostró una correlación negativa estable con el razonamiento erróneo en todos los modelos evaluados. El efecto de GSC, en cambio, varía: en los modelos pequeños deja al descubierto la precisión inflada de SC, mientras que en los más potentes mejora ambos indicadores a la vez.