Une chercheuse de l’UCL et de Stanford explique pourquoi les benchmarks d’AI ne fonctionnent plus

Les scores élevés aux benchmarks d'IA ne garantissent plus qu'un modèle sera utile au travail réel. La chercheuse Angela Aristidou de l'UCL et Stanford propose de restructurer la logique même de l'évaluation de l'IA : regarder non pas les résultats dans le vide, mais comment les systèmes se comportent au sein des équipes, des processus et des longs cycles de travail.

Pourquoi les tests s'effondrent

Les benchmarks actuels sont pratiques car ils réduisent tout à une simple question : le modèle a-t-il résolu une tâche isolée mieux qu'un humain ? Cette approche fonctionne bien pour les échecs, les questions d'examen, les courts fragments de code ou les textes avec une réponse univoque. L'industrie obtient des classements clairs, des pourcentages de précision et de jolies tables comparatives.

Le problème est que presque personne n'utilise l'IA exactement comme elle est testée. Dans les organisations, les modèles ne fonctionnent pas dans un environnement stérile, mais dans des processus complexes avec plusieurs participants, des règles internes, des exceptions et des entrées qui changent. Ce qui importe n'est pas seulement la vitesse et la précision de la réponse, mais si l'IA accélère les approbations, aide l'équipe à remarquer les erreurs et ne crée pas une nouvelle couche de bruit opérationnel.

Un modèle qui brille aux tests synthétiques peut donc s'avérer être un maillon faible dans une boucle de rétroaction réelle.

Le Problème des équipes réelles

Aristidou donne l'exemple des systèmes d'IA médicale qui montrent formellement des résultats très forts et reçoivent même des approbations réglementaires. En pratique, les médecins doivent intégrer leurs conclusions dans les normes de signalement locales, les exigences de la clinique et la logique de prise de décision partagée. De ce fait, un outil qui gagne du temps sur le papier peut, en réalité, introduire des retards dans le processus réel.

C'est particulièrement notable dans les environnements où les décisions sont prises non pas par un seul spécialiste, mais par une équipe multidisciplinaire. Les radiologues, oncologues, infirmières et autres participants discutent du patient ensemble, et le plan de traitement est affiné au fur et à mesure que de nouvelles données arrivent. Dans un tel système, ce qui importe n'est pas seulement la précision de la suggestion, mais comment elle affecte la discussion collective.

Si un modèle provoque une certitude prématurée, augmente la charge cognitive ou rompt la coordination familière, un score élevé au test ne signifie pas grand-chose. C'est ainsi que les projets d'IA finissent au « cimetière de l'IA ».

Ce que propose HAIC

Au lieu d'évaluer un seul modèle sur une tâche ponctuelle, l'auteur propose l'approche HAIC — Human-AI, Context-Specific Evaluation. Son idée est de mesurer le binôme « humain + IA » dans un environnement de travail spécifique et sur le long terme. Il ne s'agit pas de rejeter complètement les tests, mais de déplacer l'accent : de la précision de laboratoire à l'impact organisationnel réel. HAIC change la logique d'évaluation selon plusieurs dimensions :

• au lieu d'évaluer un exécutant individuel, l'équipe et tout le flux de travail sont évalués
• au lieu d'un seul test, un long cycle d'utilisation est considéré
• au lieu de la précision et de la vitesse, la coordination, les résultats finaux et la visibilité des erreurs sont mis au centre
• au lieu d'une réponse isolée, les conséquences pour les processus et décisions voisines sont analysées

Cette approche est déjà testée dans des cas pratiques. Dans un réseau hospitalier britannique, la question n'était pas « l'IA améliore-t-elle la précision diagnostique ? » mais « qu'est-ce qui change dans le travail d'une équipe multidisciplinaire quand on y ajoute l'IA ? » Dans le secteur humanitaire, des systèmes similaires ont été testés pendant 18 mois, en suivant séparément la facilité avec laquelle les gens détectaient et corrigeaient les erreurs du modèle. Ce sont précisément ces longues observations qui permettent de comprendre où les garde-fous sont nécessaires et où la technologie aide vraiment.

Ce que cela signifie

Le marché se heurte progressivement aux limites des métriques synthétiques : elles restent utiles pour la comparaison de base des modèles, mais elles prédisent de moins en moins bien la valeur réelle du déploiement. Si l'approche HAIC se généralise, les entreprises et les régulateurs devront évaluer l'IA de manière plus complexe et plus longue — mais avec moins de risque d'investir dans un système qui a l'air beau dans les benchmarks mais échoue dans un processus réel.