L'Évaluation des Modèles d'IA Coûte Désormais Plus Cher que Leur Entraînement — Un Nouveau Frein pour les Chercheurs

Exécuter une évaluation complète d'un agent IA en 2026 coûte entre 2 800 $ et 40 000 $ par exécution. La EvalEval Coalition a publié un rapport approfondi : le benchmarking a cessé d'être une ligne budgétaire à côté de l'entraînement du modèle et s'est transformé en une barrière informatique et financière indépendante — avec toutes les implications pour l'indépendance de l'évaluation.

Chiffres des Benchmarks

Les chercheurs ont collecté des données spécifiques sur huit systèmes d'évaluation largement utilisés :

• HAL (classement complet des agents) — 40 000 $ pour 21 730 exécutions sur 9 modèles et 9 benchmarks
• GAIA — jusqu'à 2 829 $ par exécution unique sans cache
• PaperBench — de 4 200 $ à 9 500 $ selon le protocole
• The Well (ML pour tâches de physique) — ~2 400 $ pour l'architecture, ~9 600 $ pour le balayage complet
• MLE-Bench — ~5 500 $ par seed (75 problèmes Kaggle × 24 heures sur GPU + API)

Une seule exécution de GAIA est comparable à un budget de voyage annuel typique pour un étudiant en doctorat. Exécuter trois seeds sur six modèles coûte approximativement 150 000 $. Certains benchmarks nécessitent un entraînement réel — et là, le coût informatique de l'évaluation dépasse le coût de l'entraînement lui-même d'environ cent fois.

Pourquoi les Tests d'Agents Ne Peuvent Pas Être Comprimés

Pour les benchmarks de langage statiques, la compression fonctionne depuis longtemps : Flash-HELM comprime un test 100–200 fois sans perdre la précision du classement, et tinyBenchmarks a réduit MMLU de 14 000 exemples à 100 avec environ 2 % d'erreur. Les benchmarks d'agents résistent aux mêmes techniques. Le coût des tâches dans un seul test d'agent varie par un facteur de 10 000. Pourtant, les tâches coûteuses ne donnent pas de résultats proportionnellement précis : sur Mind2Web, une différence de prix de 9× correspond à seulement 2 % de différence de précision. L'effet maximum de compression est 2–3,5 fois, deux ordres de grandeur pire que les benchmarks statiques.

Un multiplicateur supplémentaire est la fiabilité. Le même modèle sur τ-bench a montré 60 % lors d'une exécution mais seulement 25 % lors de huit. La mesure statistiquement valide nécessite un minimum de k=8 répétitions, multipliant automatiquement le coût par 8 : un test de 10 000 $ devient 80 000 $.

« Il est conventionnellement admis que la capacité du modèle est le facteur limitant principal.

Mais l'évaluation montre : le véritable goulot d'étranglement est la fiabilité », — EvalEval Coalition.

La Vérification Indépendante Devient un Privilège

Quand trois seeds sur six modèles coûtent 150 000 $, les groupes académiques sont physiquement éliminés du jeu. Seuls les grands laboratoires ont des budgets pour une évaluation statistiquement solide — les mêmes qui créent les systèmes évalués. C'est un conflit d'intérêts structurel : la vérification externe ne disparaît pas parce que les gens ne la veulent pas, mais parce que personne ne peut se la permettre.

La EvalEval Coalition propose une solution pragmatique : cesser d'exécuter les mêmes tests encore et encore. Actuellement, chaque groupe recommence de zéro parce que les autres résultats sont enterrés dans des articles PDF sans données lisibles par machine. La coalition a lancé le projet Every Eval Ever — un référentiel sur Hugging Face où les résultats sont soumis avec métadonnées complètes, logs et paramètres. Il a été calculé que même réutiliser les données deux fois économiserait plus que toutes les techniques de compression combinées.

Ce Que Cela Signifie

L'économie de l'évaluation de l'IA a basculé : l'évaluation n'est plus une ligne budgétaire mineure mais un coût opérationnel principal et un instrument d'influence. Celui qui peut se permettre de payer pour un benchmark écrit le classement. Si la vérification indépendante continue de devenir plus chère, la surveillance externe des systèmes d'IA risque de se concentrer entièrement entre les mains des laboratoires qui les créent.