NVIDIA décroche 100 % sur ARC-AGI-3 : la vedette n'est pas le modèle, mais son harness

NVIDIA annonce que son architecture agentique AVO a atteint 100 % sur le benchmark ARC-AGI-3. Le groupe y voit la démonstration d'une « architecture généraliste de niveau frontier pour les tâches agentiques longues ». Les ingénieurs de l'entreprise détaillent leurs travaux sur le blog NVIDIA Developer.

Que s'est-il passé ?

ARC-AGI-3 est la troisième génération du benchmark de raisonnement abstrait créé par François Chollet, et l'un des tests les plus résistants de l'industrie. Contrairement à ses prédécesseurs, il repose sur des environnements de jeu interactifs : l'agent doit comprendre seul les règles du monde en l'explorant, sans instructions ni indices. Les modèles frontier y ont longtemps obtenu des résultats modestes : encore récemment, des scores inférieurs à 40 % passaient pour une avancée notable.

Face à ce contexte, les 100 % d'AVO marquent une rupture nette. Mais le cœur de l'annonce n'est pas le chiffre : c'est l'explication de la manière dont il a été obtenu.

• ARC-AGI-3 est un benchmark interactif : l'agent déduit lui-même les règles de l'environnement, par essais et erreurs
• AVO affiche un résultat parfait : 100 %
• Selon NVIDIA, la contribution décisive vient de l'architecture de l'agent, et non de la puissance « brute » du modèle

Le harness, nouveau centre de gravité

La thèse centrale de NVIDIA : un modèle de langage de pointe n'est qu'un composant parmi d'autres d'un agent d'IA. Tout le reste dépend du système qui l'entoure, ce que l'industrie appelle le harness. C'est lui qui détermine comment le modèle reçoit son contexte, appelle les outils, conserve son état d'une étape à l'autre, réagit aux retours de l'environnement, se rétablit après une panne et maintient sa progression sur des tâches de plusieurs dizaines, voire centaines d'étapes.

TechCrunch tire une conclusion plus tranchée encore : NVIDIA a montré que le véritable héros est désormais le harness, pas le modèle. Un même « cerveau » donne des résultats radicalement différents selon son harness. Cela explique pourquoi les entreprises qui développent des produits agentiques se disputent de plus en plus sur l'ingénierie de la boucle agentique, et non sur l'accès au dernier modèle en date.

Ce que cela signifie

Le résultat d'AVO déplace le centre de la course : de l'entraînement des modèles vers l'ingénierie système qui les entoure. Dans cette discipline, l'avantage revient aux équipes dotées d'une solide culture d'infrastructure, et pas seulement aux laboratoires disposant des plus gros clusters. Il y a aussi un revers : lorsqu'un benchmark est résolu à 100 %, il cesse de mesurer le progrès. ARC-AGI-3 risque de connaître le sort de ses prédécesseurs, et l'industrie a de nouveau besoin d'un test que personne n'a encore résolu.

Questions fréquentes

Qu'est-ce qu'ARC-AGI-3 ?

Un benchmark interactif d'intelligence générale de la série ARC de François Chollet : un ensemble d'environnements de jeu dont l'agent doit déduire lui-même les règles en interagissant avec le monde. Il est considéré comme l'un des tests les plus difficiles pour évaluer la généralisation, et non les connaissances apprises par cœur.

Qu'est-ce que le harness ?

La couche logicielle qui entoure un agent d'IA : sous-systèmes d'alimentation en contexte, d'appel d'outils, de mémoire, de gestion des erreurs et de contrôle des tâches longues. Le résultat de NVIDIA montre que la qualité du harness pèse sur le résultat final autant que celle du modèle lui-même.