Tsinghua publie OSWorld-Science : un benchmark pour tester les agents dans les logiciels scientifiques

L'équipe de Tsinghua a présenté OSWorld-Science. Ce benchmark vérifie si un agent IA peut non seulement expliquer un problème scientifique, mais aussi l'exécuter dans un logiciel professionnel : de l'analyse de spectres de résonance magnétique nucléaire au traitement d'images pathologiques, en passant par les calculs statistiques et la simulation physique. L'annonce disponible ne indique ni le nombre de tâches ni les résultats de modèles précis. La question principale, à savoir l'écart que révélera le classement, reste donc ouverte.

Là où s'arrêtent les réponses textuelles

Les modèles de langage actuels se débrouillent bien avec la première partie du travail scientifique. Ils expliquent une méthode, énumèrent les étapes, écrivent un script d'analyse. Vient ensuite ce qui occupe la part du lion du temps en laboratoire : ouvrir le bon logiciel, charger les données, régler les paramètres, parcourir les menus, vérifier le résultat intermédiaire et obtenir un résultat final que l'on peut insérer dans un article.

C'est précisément ce segment que les auteurs d'OSWorld-Science prennent pour objet d'évaluation. Le traitement de données RMN ou l'annotation d'images histologiques reviennent chaque jour dans la recherche. Une culture générale ne suffit pas pour les mener à bien. Il faut comprendre le domaine et manipuler avec soin une interface où une erreur sur un seul paramètre change tout le résultat.

Ce que l'on sait du benchmark

• Développeur : équipe de recherche de l'Université Tsinghua.
• Format : l'agent pilote lui-même le logiciel scientifique au lieu de décrire la solution avec des mots.
• Domaines des tâches : analyse RMN, traitement d'images pathologiques, statistiques, simulation physique.
• Exigences pour l'agent : connaissances spécialisées et exécution fiable d'une séquence d'opérations.
• Non précisé dans l'extrait disponible : nombre de tâches, liste des logiciels, méthode de vérification des résultats, évaluations des modèles et niveau de référence humain.

Contexte : des tâches de bureau aux tâches de laboratoire

Le nom renvoie à OSWorld, un benchmark de 2024 pour les agents qui travaillent sur un ordinateur. Il comptait 369 tâches sous Ubuntu, Windows et macOS. Les humains en résolvaient environ 72 %, tandis que le meilleur modèle au moment de la publication dépassait à peine 12 %. Depuis, les agents ont nettement progressé, mais les scénarios bureautiques et de navigation généralistes restent nettement plus simples que les scénarios scientifiques.

Les logiciels scientifiques professionnels présentent plusieurs caractéristiques peu commodes pour un agent. Leurs interfaces sont très spécialisées, souvent vieillissantes et non standard. Les exemples d'entraînement en libre accès sont rares. Surtout, les erreurs y sont silencieuses : le programme n'affiche pas de message d'erreur, il produit un graphique ou une valeur p plausibles, mais fausses. C'est notre lecture du problème, et non une citation de l'annonce, mais c'est justement pourquoi la formule « un résultat fiable » paraît centrale. Un benchmark qui se contente de vérifier que les actions ont été menées à terme est inutile ici. Ce qui compte, c'est la façon dont on contrôle le fichier ou le nombre final.

Comment s'en servir

Pour les laboratoires, la conclusion est terre à terre : il est trop tôt pour laisser les agents travailler seuls dans les logiciels scientifiques, sans contrôle. Un schéma raisonnable aujourd'hui : l'agent prépare et lance les calculs de routine, un humain vérifie les paramètres et le résultat, et le journal des actions est conservé pour la reproductibilité.

Pour les développeurs d'agents, OSWorld-Science deviendra probablement un test exigeant de plus. Il montre dans quelle mesure un modèle conserve le contexte métier sur une longue chaîne d'actions dans une interface réelle.

Avant de tirer des conclusions, il faut attendre l'article et le dépôt, et examiner quatre points : comment fonctionne la vérification automatique des résultats, combien de tâches ne sont résolubles que par l'interface graphique, quel score ont obtenu les experts humains et comment se comportent dessus les principaux modèles commerciaux et ouverts. Sans ces données, le titre reste une promesse, pas une mesure.