OpenAI dévoile BioBasicsBench : GPT-6 Astra obtient 66,7 % en analyse de données wet-lab

Si vous concevez un agent d'IA pour la science, la question essentielle n'est pas de savoir s'il sait résumer des articles. Ce qui compte, c'est qu'il puisse examiner la photo floue d'un gel ou d'une boîte de colonies et dire honnêtement : « on ne peut rien conclure de cela ». C'est précisément ce que teste le nouveau benchmark d'OpenAI, BioBasicsBench, conçu avec la société de biotechnologie Ligo.

Le contenu du benchmark

L'ensemble comprend 100 tâches réparties en cinq domaines du travail de laboratoire courant : méthodes protéiques, imagerie et cytométrie, dosages quantitatifs, travail sur les acides nucléiques et clonage moléculaire. Les données sont brutes : gels et blots, photos de boîtes, piles d'images de microscopie, fichiers FASTQ, exports de lecteurs de plaques, et même des vidéos de travail à la paillasse.

Les tâches ont été rédigées par des scientifiques à partir de leurs propres expériences. Chacune a été relue par un relecteur interne de Ligo, par un spécialiste externe de niveau PhD, puis de nouveau par l'équipe. Les réponses sont évaluées selon une grille d'experts : des points sont attribués par critère, de sorte qu'une conclusion juste assortie d'un mauvais raisonnement se distingue d'une réponse entièrement correcte. Une partie des critères vérifie si l'agent a reconnu que les données étaient insuffisantes.

Sept modèles ont été évalués dans 37 configurations de raisonnement, avec cinq essais par tâche, soit 18 500 résultats au total.

Résultats

En configuration xhigh, GPT-6 Astra a obtenu 66,7 % (intervalle de confiance 60,3–73,1 %), GPT-6.1 Sol 62,0 %, GPT-5.6 Sol 43,8 %, GPT-6 Luna 38,3 % et GPT-5.2 31,2 %. Astra consomme par ailleurs moins de tokens : environ 4 700 par tâche contre 9 100 pour Sol. Selon OpenAI, le facteur clé est une multimodalité native plus forte : Astra voit mieux les détails sur les photos.

Les exemples sont parlants. Lors d'un clonage, Sol a vu une boîte témoin vide et l'a jugée comme un bon contrôle. Astra a lu sur le bord l'inscription « Kan50 », soit de la kanamycine au lieu de l'ampicilline, et a rejeté le contrôle. Dans une autre tâche, Sol cherchait une explication biologique à la disparition de cellules, tandis qu'Astra a compris qu'il s'agissait d'un z-stack, c'est-à-dire d'une acquisition à différentes profondeurs. Dans une troisième, Sol a déclaré des cellules mortes d'après le signal d'un colorant, alors que le spectre d'un second colorant se chevauchait ; Astra a demandé des contrôles supplémentaires.

Là où les modèles échouent encore

OpenAI montre honnêtement aussi les échecs d'Astra. Elle a correctement séparé les groupes de colonies sur le gel, mais a confondu la signification de chacun, et a choisi les colonies 4, 6, 7, 8 au lieu des colonies de référence 5, 9, 10. L'hypothèse habituelle selon laquelle « un produit de PCR plus grand signifie un clonage réussi » l'a emporté sur les pistes de contrôle.

Dans un autre cas, elle a généralisé que les vacuoles sont plus sombres que la cellule, ignorant des vacuoles claires dans le même champ, bien qu'elle ait elle-même noté que le contraste dépend de la mise au point. Enfin, lors du comptage des colonies, elle a surestimé le résultat d'environ 12 %, ce qui gonfle directement l'estimation de l'efficacité de transformation.

Que faire de ces résultats

Pour les équipes qui développent des agents scientifiques, la conclusion est pratique. Premièrement, évaluez non seulement la réponse finale, mais aussi la capacité à dire « les données sont insuffisantes » : c'est un critère distinct de la grille. Deuxièmement, ne confiez pas à l'agent la sélection automatique d'échantillons pour l'étape suivante, comme le choix de colonies pour la purification de plasmide : le coût d'une erreur se propage en cascade. Troisièmement, il vaut mieux vérifier le comptage d'objets sur les images avec des outils classiques ou par un humain.

Il faut aussi tenir compte des limites : le benchmark est petit, avec 100 tâches, les intervalles sont assez larges, et l'évaluation a été menée par OpenAI elle-même sur ses propres modèles, sans comparaison avec ceux d'autres laboratoires. Néanmoins, ce format, fondé sur des données réelles imparfaites avec des pièges comme une étiquette erronée, est plus proche de la réalité que des images sélectionnées dans des articles. Pour les product managers en biotechnologie, c'est un bon modèle pour construire leur propre évaluation interne d'agents.