VIALS-AA : Gemini 4 Carbon résout 64 % des tâches scientifiques à partir d’images, GPT-6.1 Sol coûte 30 fois moins cher

Si vous développez un agent chargé de lire des graphiques scientifiques, des gels ou des micrographies, la question ne se limite pas au modèle le plus intelligent. Il faut aussi savoir avec quelle régularité il répond et combien cela coûte. Artificial Analysis a publié VIALS-AA, son implémentation du benchmark de Handshake AI, dont les résultats s’écartent sensiblement des classements habituels.

Comment le test est organisé

Le benchmark comprend 161 tâches portant sur des images scientifiques : électrophorèse sur gel, digestion de plasmides par des enzymes de restriction, comptage des contacts hydrophobes, arbres phylogénétiques et cytométrie en flux. Chaque tâche est exécutée trois fois par le modèle dans le framework ouvert Stirrup. Celui-ci dispose d’un environnement d’exécution de code et d’un outil de visualisation d’images. La métrique principale est pass^3, c’est-à-dire la proportion de tâches pour lesquelles les trois exécutions donnent une réponse correcte. La logique est simple : dans le domaine scientifique, une réponse qui change d’une exécution à l’autre conduit à des conclusions erronées et à de coûteuses répétitions d’expériences.

Ce que montrent les résultats

Gemini 4 Carbon (high) occupe la première place avec 64 % : il a résolu de manière stable 103 tâches sur 161. GPT-6 Astra (max) arrive deuxième, avec deux tâches de moins. La frontière de Pareto entre coût et qualité est formée par Gemini 4 Carbon, GPT-6 Luna, GPT-6.1 Sol, GPT-6.1 Terra et GPT-6 Astra.

Les coûts diffèrent radicalement. GPT-6 Luna revient à 0,02 $ par tâche, contre 1,77 $ pour Grok 4.7 (xhigh). GPT-6.1 Sol obtient 59 % pour 0,06 $, tandis que Claude Opus 5.5, avec un résultat similaire de 61 %, coûte environ trente fois plus cher.

Deuxième constat : l’effort ne garantit pas la précision. Claude Sonnet 5.5 et GPT-6.1 Sol obtiennent respectivement 60 % et 59 %, mais Sonnet effectue 3,6 fois plus d’appels d’outils et consomme environ 63,5 milliers de tokens de sortie, contre près de 2,5 milliers pour Sol. Claude multiplie les mesures : il effectue un étalonnage à partir de l’échelle des marqueurs et interpole la masse moléculaire. GPT s’appuie plus souvent sur une inspection rapide, et les deux approches fonctionnent.

Là où les modèles se trompent

Dans l’exemple de la bande protéique no 22, Grok 4.7 a effectué 27 étapes et 20 consultations de l’image, mais a répondu 50–70 kDa au lieu de la bonne plage de 40–50. D’après sa trace, il s’est focalisé sur l’étiquette « 22 » et sur la flèche, plutôt que sur la faible bande elle-même. Sonnet a distingué les deux : l’étiquette se situait autour de 53 kDa et la bande autour de 48,7 kDa.

L’expérience menée avec GLM-5.3, dépourvu de vision native, est encore plus révélatrice. Le modèle a chargé l’image sous forme de tableaux, appliqué des seuils aux différentes zones, exécuté un OCR et imprimé des cartes textuelles. GLM-5.3 (max) a consacré 54 étapes et 57 appels de code à la tâche, avant de donner une mauvaise réponse. La version allégée GLM-5.3-Flash, avec dix consultations de l’image, a réussi en 30 étapes.

La stabilité compte plus qu’un succès ponctuel

Les meilleurs modèles ouverts, comme Kimi K3.1 Pro, MiMo-V2.6-Pro et MiniMax-M3.1-Flash, résolvent au moins une fois entre 114 et 119 tâches, contre 111 à 118 pour les sept meilleurs modèles fermés. Mais les trois exécutions ne réussissent que sur 48 à 73 tâches, contre 95 à 103. Kimi K3.1 Pro affiche un pass^3 de 45 %, contre 63 % pour GPT-6 Astra, alors que leurs scores pass@3 sont proches.

Autre détail : sur Gemini 3.8 Flash, 86,7 % des appels sont des appels « factices », où le code sert de bloc-notes pour le raisonnement.

Comment exploiter ces résultats

• Comparez les modèles selon pass^k, et non selon leur meilleure tentative. En production, la reproductibilité est essentielle.
• Calculez le coût par tâche plutôt que par token : entre des modèles de qualité comparable, l’écart peut atteindre un facteur de 18 à 30.
• Ne considérez pas le nombre d’étapes ou d’outils comme un indicateur de qualité. Les longues traces renforcent souvent l’erreur initiale.
• Examinez les résultats par domaine : Opus domine pour le blotting, Sonnet pour le comptage de cellules et Terra pour les structures protéiques.

Limites : le benchmark est de taille modeste, avec 161 tâches, et une partie des résultats provient de modèles dépourvus d’API publique. L’évaluation dépend du framework Stirrup utilisé, et le classement pourrait changer dans un autre environnement. VIALS-AA reste néanmoins un exemple utile d’évaluation rigoureuse de la fiabilité et du coût des agents pour ceux qui choisissent un modèle destiné à des pipelines scientifiques.