Investigadores proponen CBE: seis modelos GPT y Qwen no superan la prueba de competencia

Los autores de un preprint detectado en Hugging Face Daily Papers proponen revisar cómo se mide el razonamiento lógico de los grandes modelos de lenguaje. En lugar de una sola cifra de precisión sobre un conjunto de tareas elegido, introducen la competence-based evaluation (CBE): un modelo se considera competente solo si aplica de forma estable la misma habilidad a toda la familia de tareas. La prueba con seis modelos GPT y Qwen dio un resultado inequívoco. En rangos de complejidad limitados la calidad es bastante decente, pero ni siquiera el modelo fuerte cumple la condición de competencia.

Qué falla en los benchmarks habituales

Un benchmark estándar arroja un único porcentaje de respuestas correctas. Los autores consideran que esa cifra apenas dice nada sobre la generalización. Un modelo puede resolver con seguridad una tarea en su formulación habitual y equivocarse cuando la misma lógica se presenta de otro modo. Hay además un problema añadido: el benchmark fija las tareas elegidas. Si están en una zona donde el modelo es fuerte, la cifra final resulta convincente, aunque fuera de ella la calidad sea otra.

Cómo funciona CBE

El enfoque se apoya en dos mecanismos. El primero es un generador parametrizado que aumenta la complejidad pero mantiene la misma competencia requerida. El segundo son conjuntos de representaciones equivalentes que conservan la respuesta: la misma tarea se escribe de distintas maneras y el resultado correcto no cambia. El modelo supera la prueba solo si responde bien en toda la cuadrícula de tamaños y formulaciones, y no en un único punto.

Los autores construyeron el primer ejemplo práctico con tareas elementales de ordenación. El tamaño de los datos de entrada crece, y la regla de ordenación se presenta en distintas formas. La tarea es sencilla a propósito: si el modelo no soporta las variaciones aquí, es más difícil esperar fiabilidad en razonamientos complejos.

• Qué se evaluó: seis modelos de las familias GPT y Qwen.
• Tarea: ordenación elemental con tamaño de entrada creciente.
• Variaciones: distintas formulaciones de una misma regla con la misma respuesta correcta.
• Resultado: calidad aceptable en rangos de complejidad limitados, pero ningún modelo cumple la condición de competencia, tampoco los fuertes.
• Chain-of-thought y GRPO: amplían la zona de buen rendimiento, pero no eliminan todos los fallos detectados.
• Supervised LoRA: transferencia débil a los datos reservados.

Qué mostraron los métodos de mejora

Los autores también probaron los métodos con los que suele tratarse el razonamiento débil. Chain-of-thought y el aprendizaje por refuerzo GRPO desplazan el límite a partir del cual el modelo empieza a equivocarse, pero no cierran todos los fallos encontrados. Supervised LoRA resultó más débil: en los datos reservados la transferencia es mínima. Esto concuerda con una observación extendida: el ajuste fino supervisado sobre una distribución estrecha lleva fácilmente a memorizar patrones en lugar de aprender la regla. No obstante, esta es nuestra interpretación y no una conclusión del resumen del artículo.

Cómo aplicar estas ideas en la práctica

Los equipos que eligen un modelo para tareas con lógica deberían añadir a los benchmarks estándar sus propias pruebas parametrizadas. Se toma la regla importante para el producto, se generan tareas de tamaño creciente y se redacta cada una en varias formulaciones. Después, en lugar de la puntuación media, conviene ver exactamente dónde se rompe la curva de precisión. Los resultados del ajuste fino deben evaluarse igual: si tras LoRA la calidad mejoró solo en los formatos conocidos, se ha mejorado la métrica, no el razonamiento.

Hay también salvedades. La ordenación es una clase de tareas estrecha, y el resumen no incluye porcentajes concretos, así que la magnitud de los fallos habrá que consultarla en el texto completo. Con todo, los autores describen el protocolo como extensible: puede trasladarse a otros tipos de lógica y aplicarse a nuevos modelos.