DecisionPivot evalúa 40 modelos decisores: con la misma precisión, la brecha llega a 26 p. p.

Que un modelo decisor de su pipeline LLM alcance una precisión alta en un test público no significa todavía que tome decisiones correctas. Los autores de DecisionPivot han reunido un benchmark de 48 tareas y 40 033 elementos para demostrarlo. Dos modelos de 27B parámetros se diferencian en el track de referencia por apenas 2,6 puntos, pero en precisión sobre grupos contrastivos obtienen 70,1% y 44,2%. La brecha es de 25,9 puntos, y la métrica agregada habitual no la detecta.

Cómo está construido el benchmark

DecisionPivot evalúa modelos responsables del enrutamiento de consultas, los guardrails y la verificación de salidas. En total define siete roles de decisión. El benchmark consta de dos partes.

El track principal incluye 7 800 elementos de 13 familias de tareas generadas. Los elementos se organizan en grupos contrastivos: variantes muy próximas de una misma tarea en las que cambia un detalle clave y, con él, la respuesta correcta. Las respuestas se calculan por programa y se comprueban con solvers implementados de forma independiente. El track de referencia reúne 32 233 elementos de 35 conjuntos de prueba públicos y conserva sus métricas originales.

• 48 tareas y 40 033 elementos, siete roles de decisión.
• 7 800 elementos en el track principal, 13 familias de tareas.
• 32 233 elementos en el track de referencia, 35 conjuntos públicos.
• 40 modelos decisores y 14 modelos de propósito general.
• Métricas: precisión por elemento y por grupo contrastivo, ordenación de probabilidades, calibración y cobertura selectiva empírica.

Dónde fallan las métricas agregadas

El resultado principal afecta a los grupos contrastivos. En ellos, un modelo solo puntúa si responde correctamente a todas las variantes. Por eso la métrica detecta los casos en que el decisor reacciona a rasgos superficiales en lugar de al detalle que determina la respuesta. La pareja de modelos de 27B, con resultados casi idénticos en el track de referencia, ilustra bien su importancia.

La segunda conclusión se refiere a las probabilidades. En 2 400 pares contrastivos binarios, Perplexity Decider coloca el elemento positivo por encima del negativo en el 92,3% de los casos. Sin embargo, responde correctamente a ambos elementos del par solo en el 74,1%. El modelo ordena bien las opciones según su confianza, pero su umbral de decisión se activa de forma imprecisa. Esto es relevante en los sistemas donde el umbral determina la decisión, por ejemplo dejar pasar una consulta o bloquearla.

La tercera observación: modelos con una precisión por elemento similar difieren en la fiabilidad de sus predicciones de alta confianza. En los escenarios selectivos, donde el sistema procesa automáticamente solo los casos de alta confianza y envía el resto a una persona, esto define la proporción real de errores en el flujo automático.

Por separado, los autores comprobaron el efecto del modo de razonamiento. En un subconjunto de 1 296 elementos, GLM-5.3 alcanza un 93,5% de precisión en grupos contrastivos con un nivel de razonamiento elevado y un 81,5% con el mínimo. La diferencia de 12 puntos se obtiene con un mismo modelo.

Cómo aplicar los resultados en la práctica

Un equipo que elija modelo para enrutamiento, moderación o verificación debería añadir pruebas contrastivas a la evaluación estándar. Para ello se toma un conjunto de pares próximos en los que cambia un único detalle decisivo y se calcula la proporción de pares resueltos por completo. También conviene medir por separado la calibración y la proporción de errores entre las predicciones de alta confianza, porque de ella depende cuántas decisiones pueden delegarse en la automatización.

Además, hay que fijar el modo de razonamiento al comparar modelos. El resultado de GLM-5.3 muestra que un mismo checkpoint puede comportarse de forma distinta según la configuración, así que una comparación con los valores por defecto dice poco sobre el comportamiento en producción. Los autores señalan que evaluaron los modelos según protocolos documentados y específicos de cada uno, y es un enfoque razonable para adoptar en las pruebas internas.