Competencia frente a precisión: por qué GPT y Qwen pierden la lógica al cambiar la formulación

Investigadores de la Universidad de Illinois en Urbana-Champaign han publicado un estudio que pone en entredicho la fiabilidad de los métodos actuales para evaluar el razonamiento lógico en los grandes modelos de lenguaje (LLM). La nueva metodología Competence-Based Evaluation (CBE) ha detectado una incoherencia fundamental: los modelos que obtienen una alta precisión en los benchmarks estándar no logran aplicar de forma estable la misma regla lógica cuando cambia la formulación o la dificultad de la tarea.

El problema de la evaluación actual del razonamiento lógico

A pesar de los avances notables de los grandes modelos de lenguaje en tareas muy diversas, el razonamiento lógico sigue planteando problemas serios, entre ellos la falta de consistencia ante variaciones lingüísticas. Los benchmarks actuales evalúan los modelos mediante un único indicador: la precisión en un conjunto de tareas seleccionado. Este enfoque no permite saber si el modelo es capaz de generalizar y transferir ese conocimiento a nuevas variantes de la misma tarea.

La metodología Competence-Based Evaluation

Los investigadores proponen un paradigma de evaluación alternativo, CBE, que comprueba si los modelos pueden aplicar de forma fiable un mismo conocimiento a toda una familia de problemas relacionados. La idea central consiste en usar un generador de tareas parametrizado que escala la dificultad mientras mantiene constante la competencia requerida. Las representaciones de respuesta coherentes permiten comprobar la corrección de la lógica más allá de una formulación concreta.

La metodología se aplicó a tareas elementales de ordenación (ordering tasks), en las que se escaló el tamaño de la entrada y se varió la forma de presentar una misma regla de ordenación.

Resultados de las pruebas con seis modelos de las familias GPT y

Qwen

En las pruebas participaron seis modelos de las familias GPT y Qwen. Los resultados fueron revelado​res:

• Rendimiento en rangos limitados: los modelos mostraron un rendimiento aceptable dentro de rangos de dificultad limitados, pero incluso los modelos más potentes no superaron la prueba de competencia al ampliar la familia de tareas

• Chain-of-Thought (CoT) y GRPO: las técnicas de razonamiento explícito (chain-of-thought) y el método GRPO ampliaron el rango de buen rendimiento, pero no eliminaron todos los errores detectados en la transferencia de conocimiento lógico

• Supervised LoRA: el enfoque de LoRA supervisado mostró una transferencia mínima de conocimiento a datos nuevos que el modelo no había visto antes

Estos resultados apuntan a un problema más profundo: la métrica estándar de precisión no se correlaciona con la fiabilidad de la transferencia lógica ni con la capacidad de generalización.

Perspectivas e implicaciones para el desarrollo de los LLM

La metodología CBE ofrece perfiles de diagnóstico detallados de cada modelo y propone un protocolo de evaluación capaz de evolucionar junto con las futuras generaciones de modelos. El estudio subraya la necesidad de replantear cómo medimos las capacidades lógicas de los LLM: no solo elevando la precisión general, sino garantizando la fiabilidad y la estabilidad en la aplicación del conocimiento ante variaciones de la tarea.