Artificial Analysis lance HealthBench : GPT-6 Astra en tête avec 66,0%

Artificial Analysis a ajouté à ses classements deux benchmarks médicaux d'OpenAI : HealthBench et HealthBench Professional. Tous deux testent la façon dont les modèles répondent dans des dialogues de santé réalistes, et notent les réponses selon des grilles élaborées par des médecins. Sur le jeu professionnel, GPT-6 Astra (max) domine avec 66,0% selon le score ajusté à la longueur. Sur le HealthBench grand public, Claude Sonnet 5.5 (max with fallback) arrive en tête avec 62,1%. L'écart entre scores bruts et scores ajustés rebat toutefois fortement les cartes du classement.

Comment les tests sont conçus

HealthBench comprend 5000 dialogues avec des utilisateurs ordinaires et des professionnels de santé. Ils sont répartis en sept thèmes, des urgences à la santé mondiale. Chaque critère de la grille se rattache à l'un des cinq axes : exactitude, exhaustivité, qualité de la communication, prise en compte du contexte et respect des instructions. Les réponses sont évaluées par GPT-4.1.

HealthBench Professional est plus restreint : 525 dialogues, tous menés avec des cliniciens. Il couvre des consultations, des tâches rédactionnelles et du travail de recherche, ainsi que des cas volontairement difficiles et adversariaux. Les réponses sont jugées par GPT-5.4 (low).

Artificial Analysis publie deux indicateurs : la part brute des points obtenus et le score ajusté à la longueur, selon la méthode d'OpenAI. Cet ajustement abaisse le score des réponses de plus de 2000 caractères et relève celui des réponses plus courtes.

HealthBench

Professional : OpenAI en tête, la longueur pénalise

Sur le jeu professionnel, les premières places reviennent aux modèles d'OpenAI. Toute la frontière de Pareto « score contre coût par tâche » est elle aussi composée de leurs modèles.

• GPT-6 Astra (max) : 66,0%, $0,27 par tâche
• GPT-6.1 Sol (max) : 65,1%, $0,047
• GPT-6 Sol (max) : 62,3%, $0,036
• GPT-6 Luna (max) : 61,9%, $0,004
• Claude Sonnet 5.5 (max with fallback) : 63,0%

GPT-6 Luna accuse 4 points de retard sur Astra, pour un coût inférieur à 2% du sien.

La longueur des réponses change la donne. Claude Opus 5.5 et Claude Fable 5.1 écrivent en moyenne environ 5900 caractères, soit près de trois fois le seuil, et perdent plus de 11 points après ajustement. Opus 5.5 (max with fallback) affiche le score brut le plus élevé, 71,4%, mais tombe à la sixième place du classement ajusté avec 59,9%. GPT-6 Sol (max) est le seul à rester sous le seuil (environ 1600 caractères), et son score est le seul à progresser après ajustement.

HealthBench : les modèles bon marché rattrapent presque les modèles chers

Sur le jeu grand public, Claude Sonnet 5.5 prend la première place (62,1%). Il est suivi de DeepSeek V4.1 Flash (max, 60,9%) et de GPT-6.1 Sol (max, 58,5%). La frontière de Pareto est ici formée de trois modèles : GPT-6 Luna (54,6% pour $0,002 par tâche), DeepSeek V4.1 Flash (60,9% pour $0,005) et Claude Sonnet 5.5. Ce dernier coûte en moyenne $0,08 par tâche, soit environ 16 fois plus que DeepSeek V4.1 Flash, pour un gain d'environ 1 point.

La ventilation par axe montre le prix de la concision. GPT-6 Sol (max) écrit les réponses les plus courtes, environ 1000 caractères, et obtient le meilleur score brut en qualité de communication (81%). En revanche, il affiche le pire résultat en exhaustivité, 34%. Sur cet axe, Claude Sonnet 5.5 mène avec 63%.

Comment lire ces chiffres pour choisir un modèle

Premièrement : regardez les deux indicateurs. Le score brut indique la quantité d'informations cliniquement pertinentes fournie par le modèle. Le score ajusté reflète l'adéquation de la réponse à un dialogue réel, où un pavé trop long nuit. Si vous construisez un assistant pour des médecins, qui ont besoin d'exhaustivité et de profondeur documentaire, la pénalité de longueur peut être considérée comme souple. Pour un chat destiné aux patients, elle compte davantage.

Deuxièmement : pour les usages à grande échelle, avec un fort volume de requêtes, c'est l'économie qui tranche. À $0,002–0,005 par tâche, GPT-6 Luna et DeepSeek V4.1 Flash donnent un résultat proche de celui des modèles chers. Astra, coûteux, se justifie là où chaque point compte sur des cas cliniques complexes.

Troisièmement : le benchmark a été créé par OpenAI, et les juges des deux tests sont des modèles d'OpenAI. Cela n'invalide pas les résultats, mais avant tout déploiement, il vaut mieux tester les candidats sur vos propres données, avec la participation de médecins. Le classement aide à réduire le choix, il ne remplace pas la validation clinique.