OpenDS-World : le meilleur agent IA résout 39% des tâches de recherche approfondie sur le web réel

Les agents Deep Search savent désormais répondre avec brio à des questions portant sur des collections de documents statiques, mais le web réel fonctionne autrement. L'équipe derrière OpenDS propose de tester les agents là où ils devront réellement travailler, et publie OpenDS-World, un benchmark de 200 tâches complexes. Le résultat refroidit les ambitions : sur les 12 modèles frontier testés, le meilleur atteint 39,0% de précision. Les humains, en 1000 tentatives indépendantes, obtiennent 21,1%.

Pourquoi les tests statiques ne reflètent plus la réalité

La plupart des évaluations de deep search se appuyaient jusqu'ici sur un corpus fixe ou sur une recherche simplifiée. Sur le web réel, la situation est plus difficile : les faits utiles sont dispersés entre des sources indépendantes, présents dans différentes modalités et formats de fichiers, et on ne peut parfois y accéder qu'en interagissant avec la page. Il faut cliquer, faire défiler, ouvrir des pièces jointes, extraire des données de documents et les recouper.

Les auteurs définissent donc la tâche OpenDS comme une enquête en plusieurs étapes sur le web en direct. L'agent cherche seul via un moteur de recherche, pilote un navigateur, traite les éléments trouvés, relie des fragments issus de plusieurs sources et doit, au final, donner une seule réponse factuelle. Pas de « environ » ni de « probablement » : la réponse doit être univoque et vérifiable.

Comment est conçu OpenDS-World

Le benchmark compte 200 tâches. Elles couvrent différentes modalités d'information, des formats de fichiers hétérogènes et des scénarios où l'accès aux données exige des actions interactives. Chaque tâche a été vérifiée indépendamment par des humains, qui devaient confirmer que la chaîne de preuves est valide et que la réponse est unique. Pour un benchmark sur le web réel, c'est une exigence essentielle : si une question admet plusieurs réponses correctes, la métrique n'a plus de sens.

Les 12 modèles ont tous été exécutés dans le même environnement, avec un jeu d'outils unique et un protocole d'exécution unique. Les écarts de résultats reflètent donc la qualité des agents eux-mêmes, et non un habillage logiciel favorable.

Paramètres clés de l'étude :

• 200 tâches avec vérification humaine indépendante
• 12 modèles frontier dans un environnement unifié
• meilleur résultat d'un modèle : 39,0% de précision
• évaluation humaine : 1000 tentatives indépendantes, 21,1% de précision
• analyse selon quatre axes : usage des outils, coût de la recherche, comportement à l'arrêt, reprise après incident

Où les agents échouent

La partie la plus intéressante de l'étude n'est pas le chiffre final, mais l'analyse des comportements. Les auteurs ont comparé la façon dont les modèles utilisent les outils, le temps qu'ils consacrent à la recherche, le moment où ils décident de s'arrêter et la manière dont ils sortent d'une impasse après une étape ratée. Il en ressort que les stratégies de recherche varient fortement d'un modèle à l'autre. Certains approfondissent les sources, d'autres reformulent plus souvent leurs requêtes, d'autres encore abandonnent trop tôt ou, à l'inverse, poursuivent une recherche sans aucune chance d'aboutir.

Deux faiblesses sont communes. La première est la coordination des outils : la recherche, le navigateur et le traitement des fichiers doivent s'enchaîner de façon cohérente, et les agents perdent de l'information aux points de jonction. La seconde est la gestion du long horizon. Quand une tâche exige des dizaines d'étapes, une erreur commise tôt se propage jusqu'à la fin, et le mécanisme de reprise ne se déclenche pas toujours.

La comparaison entre 39,0% et 21,1% appelle à la prudence : les conditions diffèrent entre humains et agents en termes de temps, de contraintes et d'habitude des interfaces. Mais le simple fait que les tâches se soient révélées difficiles pour les deux camps témoigne de l'exigence du benchmark. Ce n'est pas un test d'érudition, mais une épreuve d'endurance et de discipline de recherche.

Ce qu'il faut changer dès maintenant dans les pipelines d'agents

Pour les équipes qui développent des agents de recherche, OpenDS-World offre un repère pratique. Premièrement, évaluer un produit sur des jeux de données statiques ne suffit plus : il faut des essais sur le web en direct, avec un contenu non figé et un accès interactif. Deuxièmement, il convient d'élargir les métriques. Une précision sans prise en compte du coût de la recherche et du nombre d'étapes masque ce que coûte chaque bonne réponse. Troisièmement, les politiques d'arrêt et de retour en arrière sont critiques : l'agent doit savoir quand changer de stratégie et quand admettre que les preuves n'existent pas.

Pour les développeurs de modèles, le benchmark devient un outil de diagnostic. Il montre précisément où la qualité se perd : dans le choix de la source, dans le travail sur un fichier ou dans la planification d'une longue chaîne d'actions. C'est là qu'il faudra concentrer les efforts si les agents doivent cesser d'être une démonstration pour devenir un véritable outil de travail du chercheur.