Évaluer les modèles d'IA coûte désormais plus cher que les entraîner : une nouvelle barrière pour les chercheurs

Lancer une évaluation complète d'un agent d'IA en 2026 coûte entre 2 800 et 40 000 $ par exécution. L'EvalEval Coalition a publié un vaste rapport : le benchmarking n'est plus une ligne du budget à côté de l'entraînement du modèle, il est devenu une barrière de calcul et de financement à part entière, avec toutes les conséquences que cela implique pour l'indépendance de l'évaluation.

Les chiffres des benchmarks

Les chercheurs ont rassemblé des données précises sur huit systèmes d'évaluation très utilisés :

• HAL (classement agentique complet) : 40 000 $ pour 21 730 exécutions sur 9 modèles et 9 benchmarks
• GAIA : jusqu'à 2 829 $ par exécution sans cache
• PaperBench : de 4 200 à 9 500 $ selon le protocole
• The Well (ML pour la physique) : ~2 400 $ par architecture, ~9 600 $ pour un balayage complet
• MLE-Bench : ~5 500 $ par seed (75 tâches Kaggle × 24 heures de GPU + API)

Une seule exécution de GAIA équivaut au budget annuel moyen de déplacements d'un doctorant. Comparer six modèles sur trois exécutions par seed revient à environ 150 000 $. Certains benchmarks exigent un véritable entraînement, et le coût de calcul de l'évaluation y dépasse celui de l'entraînement lui-même d'environ cent fois.

Pourquoi les tests agentiques ne se compressent pas

Pour les benchmarks de langage statiques, la compression fonctionne depuis longtemps : Flash-HELM réduit un test de 100 à 200 fois sans perdre en précision de classement, et tinyBenchmarks a ramené MMLU de 14 000 exemples à 100 avec une erreur d'environ 2 %.

Les benchmarks agentiques résistent aux mêmes techniques. Le coût des tâches au sein d'un même test agentique varie d'un facteur 10 000. Les tâches coûteuses ne donnent pas pour autant des résultats proportionnellement plus précis : sur Mind2Web, un écart de prix de 9× correspond à un écart de précision de seulement 2 %. Le gain de compression maximal est de 2 à 3,5 fois, soit deux ordres de grandeur de moins que pour les benchmarks statiques.

La fiabilité ajoute un autre multiplicateur. Sur τ-bench, le même modèle a obtenu 60 % sur une exécution, mais seulement 25 % sur huit. Une mesure statistiquement solide exige au moins k=8 répétitions, ce qui multiplie le coût par 8 : un test à 10 000 $ en coûte 80 000.

« On considère généralement que la principale limite tient aux capacités du modèle.

Mais l'évaluation montre que le vrai goulot d'étranglement, c'est la fiabilité », affirme l'EvalEval Coalition.

La vérification indépendante devient un privilège

Quand trois exécutions par seed pour six modèles coûtent 150 000 $, les équipes académiques sont hors jeu. Seuls les grands laboratoires disposent des budgets nécessaires à une évaluation statistiquement solide, et ce sont justement eux qui créent les systèmes évalués. C'est un conflit d'intérêts structurel : la vérification externe disparaît non pas parce que personne n'en veut, mais parce que personne ne peut la payer.

L'EvalEval Coalition propose une réponse pragmatique : cesser de relancer sans cesse les mêmes tests. Aujourd'hui, chaque équipe repart de zéro, car les résultats des autres sont enfouis dans des articles PDF sans données exploitables par une machine. La coalition a lancé Every Eval Ever, un dépôt sur Hugging Face où l'on soumet des résultats accompagnés de métadonnées complètes, de journaux et de paramètres. D'après ses calculs, même une double réutilisation des données ferait économiser plus que toutes les techniques de compression réunies.

Ce que cela signifie

L'économie de l'évaluation de l'IA s'est retournée : évaluer n'est plus une petite ligne du budget, mais un poste opérationnel majeur et un instrument d'influence. Celui qui peut payer un benchmark écrit le classement. Si la vérification indépendante continue de renchérir, le contrôle externe des systèmes d'IA risque de se concentrer entièrement entre les mains des laboratoires qui les créent.