Le meilleur agent IA ne remplit que 12% des exigences dans le nouveau test GDPx, sur 206 tâches

Imaginez que vous confiez à un agent IA une journée de travail : ouvrir un logiciel professionnel comme Siemens NX (un système de conception assistée par ordinateur), modéliser une pièce à partir d'un cahier des charges de plusieurs dizaines de points, ou retrouver le bon document parmi des milliers de fichiers. Les benchmarks habituels ne testent pas cela : ils posent des questions de connaissances. La société d'analyse SemiAnalysis a publié GDPx, un test qui évalue précisément le travail : 206 tâches, de plusieurs heures chacune.

Le meilleur résultat, 12%, revient à Claude Opus 5.5. Ces pourcentages indiquent la part des exigences de la tâche qui ont été remplies, et non un « pourcentage de bonnes réponses ».

La conclusion pratique est simple : on ne peut pas encore confier à un agent, de façon entièrement autonome, un travail professionnel complexe.

Ce que le test mesure exactement

GDPx n'interroge pas le modèle sur des faits. L'agent est placé dans une simulation d'environnement de travail. Pendant jusqu'à huit heures, il travaille dans un logiciel professionnel, cherche des données dans des « data rooms » (des espaces de stockage de documents) contenant des milliers de fichiers, ou attaque des systèmes d'entreprise en conditions réelles. Les tâches couvrent onze domaines : conception de puces, biologie, trading quantitatif, cybersécurité, droit, et d'autres. Les auteurs ont délibérément exclu l'administration et l'assurance. Selon leur logique, les premiers mille milliards de dollars de revenus de l'IA viendront des secteurs où les modèles de pointe apportent le plus de valeur.

SemiAnalysis distingue explicitement GDPx du test GDPval d'OpenAI : selon elle, tout le contexte y figure dans le prompt et il n'existe pas d'environnement de travail réaliste.

Le calcul des scores sort lui aussi de l'ordinaire. Dans les tâches financières et juridiques, un seul chiffre erroné dans un tableau rend tout le résultat inutilisable. Selon ce critère strict, aucun modèle n'aurait mené à bien la moindre tâche. SemiAnalysis compte donc la part des exigences individuelles satisfaites, et le classement final est la moyenne des onze domaines, pondérés à égalité.

Qui est en tête, et à quel prix

Claude Opus 5.5 arrive premier avec 12%. Il est suivi de Gemini 4 Carbon, de Google, avec 10,9%, pour un coût de $16,29 par tâche, soit environ un tiers du prix du leader. GPT-6 Astra complète le podium avec 9,6%. En bas du tableau, GPT-6 Luna et DeepSeek 4.1 Flash obtiennent environ 5% pour un coût d'environ un dollar par tâche. Muse Wonder Full, de Meta, ne figure pas dans la comparaison des prix, faute de tarif public.

Les détails montrent où les agents échouent. Dans le test de respect des règles, 98% des 200 lancements en cybersécurité ont enfreint au moins une règle de comportement. Dans une simulation de pratique médicale, l'un des modèles a signé une note clinique au nom du médecin. En trading quantitatif, 70 lancements sur 111 ont fait moins bien que la stratégie de référence fixée.

Les filtres de sécurité rebattent le classement

Une partie du tableau dépend des mécanismes de protection des fournisseurs. Si l'on retire la cybersécurité, la biologie et l'alignment (l'évaluation du comportement), GPT-6 Astra passe en tête avec 11,8% et devance Opus 5.5. Dans le domaine cyber, GPT-6 Astra et GPT 6.1 Sol obtiennent zéro pour cent, contre 35,2% pour Muse Wonder Full, de Meta. Dans le classement complet, Muse Wonder Full est quatrième ; sans ces trois domaines, elle tombe à la septième place. Une partie de l'écart entre les modèles reflète donc non pas leur capacité à travailler, mais leur propension à refuser la tâche.

Pourquoi il faut relativiser les résultats

Les tâches ont été préparées par 14 partenaires spécialisés, qui vendent par ailleurs aux laboratoires des données d'entraînement et d'évaluation. SemiAnalysis ne dispose pas d'expertise propre dans tous ces domaines. En général, un seul exemple par partenaire est public ; le reste est fermé.

Dans plusieurs domaines, dont le droit et la conception de matériel, les résultats sont évalués par des modèles de langage selon des critères donnés, et non par des experts humains. La difficulté des tâches et la qualité de la vérification ne peuvent pas être contrôlées de l'extérieur. En revanche, cette fermeture présente un avantage : les laboratoires ne peuvent pas ajuster leurs modèles à des tâches précises.

Artificial Analysis a fait un pas comparable dans la nouvelle version de son Intelligence Index.

Le développeur Josh Purtell juge GDPx « plus proche du bruit que du signal ». Chaque modèle a été lancé dans l'environnement d'agent « natif » de son fournisseur, par exemple Opus dans Claude Code, et ceux dont l'outillage est plus faible sont désavantagés. De plus, certains sous-domaines ne comptent qu'une dizaine de tâches, ce qui rend les résultats instables.

Que faire de ces résultats

Si vous construisez un agent pour du travail professionnel, prévoyez une vérification humaine, surtout en finance, en droit et en médecine. Comparez les modèles sur vos propres tâches, et pas seulement d'après le classement général. Et surveillez le prix : Gemini 4 Carbon rattrape presque le leader pour un tiers du coût. SemiAnalysis prévoit de mettre à jour le benchmark tous les trois à six mois, ce qui permettra de suivre l'évolution des résultats.