El benchmark CBE expone fallos lógicos en seis modelos de GPT y Qwen al cambiar la formulación

Los benchmarks estándar miden las capacidades de los modelos de lenguaje mediante el porcentaje de respuestas correctas, lo que enmascara la fragilidad de su lógica interna. Un grupo de investigadores ha propuesto un protocolo de evaluación alternativo denominado Competence-Based Evaluation (CBE). El método comprueba si una red neuronal es capaz de sostener una misma regla lógica cuando la tarea se complica bajo parámetros estrictamente definidos o se reformula con otras palabras. Los experimentos realizados en seis modelos de las líneas GPT y Qwen revelaron un fallo sistémico: los sistemas muestran una precisión aceptable en rangos estrechos de complejidad, pero colapsan ante la mínima variación del contexto.

Generador paramétrico contra heurísticas superficiales

Las pruebas clásicas como GSM8k o MMLU registran una instantánea de erudición o la resolución de problemas basados en plantillas, donde el modelo puede acertar la respuesta gracias a correlaciones estadísticas. Los autores de CBE implementaron un generador paramétrico de tareas centrado en la ordenación elemental. La arquitectura del benchmark fija la regla base mientras incrementa el tamaño de la matriz de entrada y varía la envoltura semántica de la pregunta. Si el modelo domina realmente la competencia lógica, cambiar la formulación preservando la estructura de la respuesta no debería alterar el resultado. Sin embargo, en la práctica, la curva de precisión se degrada rápidamente a medida que se alargan las secuencias.

Resultados del ajuste fino y limitaciones arquitectónicas

Las pruebas expusieron los límites de los métodos actuales de optimización del razonamiento. El ajuste fino supervisado mediante LoRA mostró una transferencia prácticamente nula hacia formulaciones no vistas previamente: el adaptador simplemente ajusta los pesos a la sintaxis del conjunto de entrenamiento. Las técnicas avanzadas arrojaron resultados dispares:

• Chain-of-thought reduce de forma notable la proporción de alucinaciones aleatorias en listas de longitud media, pero choca con su propio límite de contexto.
• El aprendizaje por refuerzo mediante GRPO (Group Relative Policy Optimization) amplía el rango de estabilidad del razonamiento más allá del RLHF estándar.
• Ninguno de los seis modelos evaluados logró superar el criterio de competencia estable en todo el rango de complejidad.
• La brecha de rendimiento entre prompts con idéntico significado pero distinta sintaxis alcanza decenas de puntos porcentuales.

La industria ha llegado a un punto en el que elevar la precisión en benchmarks estáticos ya no refleja la fiabilidad técnica de los sistemas. En escenarios corporativos críticos —desde la verificación de código hasta la auditoría financiera— resulta indispensable que la lógica sea predecible ante entradas no estandarizadas. El protocolo CBE ofrece a los desarrolladores el perfil real de fallos de una arquitectura concreta. Mientras los LLM no aprendan a generalizar reglas de forma independiente a la estructura textual del problema, la implementación de cadenas de agentes autónomos basados en ellos exigirá la supervisión constante de verificadores externos.