Evaluar modelos de IA ya cuesta más que entrenarlos: una nueva barrera para los investigadores

Ejecutar una evaluación completa de un agente de IA en 2026 cuesta entre 2800 y 40 000 dólares por ejecución. EvalEval Coalition ha publicado un amplio informe: el benchmarking ha dejado de ser una partida del presupuesto junto al entrenamiento del modelo y se ha convertido en una barrera computacional y financiera por derecho propio, con todas las consecuencias que eso tiene para la independencia de la evaluación.

Las cifras de los benchmarks

Los investigadores recopilaron datos concretos de ocho sistemas de evaluación de uso extendido:

• HAL (clasificación integral de agentes): 40 000 dólares por 21 730 ejecuciones con 9 modelos y 9 benchmarks
• GAIA: hasta 2829 dólares por ejecución sin caché
• PaperBench: entre 4200 y 9500 dólares según el protocolo
• The Well (ML para problemas de física): ~2400 dólares por arquitectura, ~9600 dólares por un barrido completo
• MLE-Bench: ~5500 dólares por semilla (75 tareas de Kaggle × 24 horas de GPU + API)

Una sola ejecución de GAIA equivale al presupuesto anual típico de viajes de un doctorando. Comparar seis modelos con tres ejecuciones por semilla cuesta alrededor de 150 000 dólares. Algunos benchmarks exigen entrenamiento real, y en ellos el coste computacional de la evaluación supera al del propio entrenamiento en torno a cien veces.

Por qué las pruebas de agentes no se pueden comprimir

En los benchmarks estáticos de lenguaje la compresión funciona desde hace tiempo: Flash-HELM reduce la prueba entre 100 y 200 veces sin perder precisión en el ranking, y tinyBenchmarks recortó MMLU de 14 000 ejemplos a 100 con un error de en torno al 2 %.

Los benchmarks de agentes se resisten a esas mismas técnicas. El coste de las tareas dentro de una misma prueba de agentes varía hasta 10 000 veces. Y las tareas caras no dan resultados proporcionalmente más precisos: en Mind2Web, una diferencia de precio de 9× corresponde a una diferencia de precisión de solo el 2 %. La compresión máxima es de 2 a 3,5 veces, dos órdenes de magnitud peor que en los benchmarks estáticos.

La fiabilidad añade otro multiplicador. En τ-bench, el mismo modelo obtuvo un 60 % en una ejecución y solo un 25 % en ocho. Una medición estadísticamente fiable exige como mínimo k=8 repeticiones, lo que multiplica el coste por 8: una prueba de 10 000 dólares pasa a costar 80 000.

«Se suele pensar que el principal límite son las capacidades del modelo.

Pero la evaluación indica que el verdadero cuello de botella es la fiabilidad», afirma EvalEval Coalition.

La verificación independiente se convierte en un privilegio

Cuando tres ejecuciones por semilla para seis modelos cuestan 150 000 dólares, los grupos académicos quedan fuera. Solo los grandes laboratorios disponen de presupuesto para una evaluación estadísticamente fiable, y son precisamente los que crean los sistemas evaluados. Es un conflicto de intereses estructural: la verificación externa desaparece no porque nadie la quiera, sino porque nadie puede pagarla.

EvalEval Coalition propone una respuesta pragmática: dejar de repetir las mismas pruebas una y otra vez. Ahora cada grupo empieza de cero porque los resultados de los demás están enterrados en PDF sin datos legibles por máquina. La coalición ha lanzado Every Eval Ever, un repositorio en Hugging Face donde se aportan resultados con metadatos completos, registros y parámetros. Según sus cálculos, incluso una reutilización doble de los datos ahorraría más que todas las técnicas de compresión juntas.

Qué significa

La economía de la evaluación de IA se ha dado la vuelta: evaluar ya no es una partida menor, sino un gasto operativo de primer orden y una herramienta de influencia. Quien puede pagar un benchmark escribe la clasificación. Si la verificación independiente sigue encareciéndose, el control externo de los sistemas de IA corre el riesgo de concentrarse por completo en manos de los laboratorios que los crean.