Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarAi2 (Allen Institute)→ original

Ai2 a testé cinq modèles de pointe : ils se concentrent sur le vrai problème dans seulement 35 à 41 % des réponses

Vous demandez comment épaissir un glaçage qui glisse des cupcakes, alors que la vraie cause est que les cupcakes sont encore tièdes. Ai2 a constitué XYBench, un test de 8 115 questions de ce type, et y a évalué cinq modèles, dont GPT-5 et Claude Sonnet 4.6. Sur les questions de Stack Overflow, ils ne mettent l'accent sur la vraie cause que dans 35 à 41 % des réponses, contre 47 à 57 % pour la méthode erronée mentionnée dans la question. Lorsque vous choisissez un assistant, vérifiez donc sa capacité à contredire l'utilisateur.

Traité par IA depuis Ai2 (Allen Institute) ; édité par Hamidun News
Ai2 a testé cinq modèles de pointe : ils se concentrent sur le vrai problème dans seulement 35 à 41 % des réponses
Source : Ai2 (Allen Institute). Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAi2 (Allen Institute) ↗
Rédacteur en chef
8 115 questionsStack Overflow, Stack Exchange, WikiHow et exemples écrits à la main
Chiffre clé #2Entre deux réponses toutes faites, la bonne est choisie dans 71 à 84 % des cas
Chiffre clé #3Indiquer l'objectif a fait passer la part de solutions de Sonnet 4.6 de 59 % à 67 %

Vous demandez à un assistant comment épaissir un glaçage qui glisse des cupcakes. Un bon assistant remarquera que le problème n'est pas la consistance : les cupcakes sont encore tièdes, et le glaçage fond. Un mauvais se lancera dans de longues explications sur le sucre glace et la fécule.

Le laboratoire Ai2 a publié XYBench pour mesurer précisément cette capacité, et a testé cinq modèles solides. Sur les questions de Stack Overflow (où les développeurs posent des questions de code), les modèles ont placé au centre de leur réponse le vrai problème de l'utilisateur dans seulement 35 à 41 % des cas. Dans 47 à 57 % des cas, ils se sont concentrés sur la méthode erronée dont l'utilisateur avait parlé.

Ce travail a été réalisé avec Carnegie Mellon, NVIDIA et Johns Hopkins, et a reçu le prix Best Resource Paper à EMNLP 2026.

Qu'est-ce que le problème XY et comment il a été évalué

La situation est familière à quiconque a travaillé au support ou répondu sur des forums. Une personne veut atteindre l'objectif X, pense que la méthode Y l'y mènera, et demande de l'aide pour Y. Dans le benchmark, Y s'appelle la demande explicite, et X le véritable objectif, que l'on peut déduire du contexte.

XYBench compte 8 115 questions issues de quatre sources :

  • 1 557 questions de Stack Overflow ;
  • 184 questions de Stack Exchange ;
  • 102 exemples sélectionnés à la main ;
  • 6 272 questions générées à partir de guides WikiHow.

Pour les questions de forum, l'objectif et les solutions possibles ont été déterminés à partir des trois réponses les mieux notées et de la réponse acceptée. Les cas où la réponse à la lettre de la question suffisait ont été écartés. Les questions issues de WikiHow ont été générées par Sonnet 4.5, puis retravaillées pour qu'un expert puisse deviner l'objectif sans que celui-ci soit nommé dans le texte.

Les réponses sont évaluées selon trois critères. Premièrement, contiennent-elles une solution pour Y et pour X. Deuxièmement, sur quoi l'accent est-il mis : la demande explicite, l'objectif, ou les deux à parts égales. Troisièmement, le modèle explique-t-il que la voie choisie est erronée et oriente-t-il vers l'objectif. Le juge est Claude Sonnet 4.5. Deux personnes ont vérifié indépendamment 500 réponses. Elles ont été d'accord avec le juge dans 97,5 à 100 % des cas pour la présence d'une solution, dans 84,6 à 93,3 % pour l'identification de l'hypothèse erronée et dans 74,2 à 79,8 % pour l'accent. Ce dernier chiffre est nettement plus bas : l'accent est le critère le plus difficile à évaluer.

Ce que les modèles ont montré

Ai2 a testé Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B et DeepSeek-V4 Pro. Chaque modèle a répondu une seule fois à chaque question. Les cinq proposaient plus souvent une solution pour la demande explicite que pour le véritable objectif. Sur Stack Overflow, une solution pour Y figurait dans 75 à 86 % des réponses, contre 59 à 71 % pour une solution pour X.

Mentionner la bonne solution ne suffit pas à en faire le sujet principal. Un modèle peut consacrer plusieurs paragraphes à conseiller un aspirateur plus puissant, puis ajouter en une ligne qu'il faudrait vérifier le tuyau. Sur Stack Overflow, le véritable objectif n'était au centre de l'attention que dans 35 à 41 % des réponses, contre 47 à 57 % pour la demande explicite. Dans les autres réponses, l'accent était réparti à peu près également. Les experts humains s'en sortaient mieux dans cette comparaison : ils détournaient plus souvent l'utilisateur de la voie erronée.

Savoir et faire sont deux compétences différentes

Les auteurs ont mené deux expériences complémentaires pour comprendre pourquoi.

Dans la première, les modèles recevaient explicitement la demande et le véritable objectif. Chez Sonnet 4.6, sur Stack Overflow, la part de réponses contenant une solution pour l'objectif est passée de 59 % à 67 %. Mais la part de réponses expliquant que l'hypothèse est erronée a chuté de 47 % à 34 %. Tous les modèles restaient en deçà des humains pour identifier l'hypothèse erronée. Deviner l'intention ne fait donc que la moitié du travail. Le modèle doit encore oser contredire l'utilisateur.

Dans la seconde, les modèles jouaient le rôle de juges. On leur soumettait deux réponses toutes faites pour six modèles (les cinq principaux et GPT-4.1) : l'une portant sur la demande explicite, l'autre sur le véritable objectif. Ils ont su choisir la réponse portant sur l'objectif dans 71 à 84 % des cas. Ils savent donc identifier le conseil le plus utile bien mieux qu'ils ne savent eux-mêmes le formuler. Un test à choix multiple n'aurait pas révélé cet écart.

Que faire de ces résultats

Pour les développeurs d'assistants et les équipes produit, la conclusion est pratique. Si les utilisateurs posent des questions imprécises, ce qui est presque toujours le cas, une évaluation de la seule justesse formelle des réponses ne suffit pas. Il faut vérifier à part si le modèle cherche la racine du problème. Parmi les pistes : un prompt système demandant de clarifier d'abord l'objectif, ou une évaluation des réponses selon les trois mêmes critères. L'idée de choisir la meilleure réponse parmi deux suggère une autre option : faire générer au modèle plusieurs brouillons, puis le laisser sélectionner celui qui résout la vraie tâche. Les auteurs ne l'ont pas testée, il ne s'agit donc que d'une hypothèse.

Les limites sont également claires. Le benchmark est pour l'instant en anglais et porte surtout sur des tâches procédurales : programmation, cuisine, bricolage. Le juge est lui-même un modèle, et son accord avec les humains ne dépasse pas 80 % sur l'accent. Ai2 se contente de proposer d'étudier, dans de futurs travaux, l'influence de l'entraînement et des prompts sur ces résultats.

Dossier

Questions clés sur cet article

Qu'est-ce que le problème XY et comment il a été évalué?

La situation est familière à quiconque a travaillé au support ou répondu sur des forums. Une personne veut atteindre l'objectif X, pense que la méthode Y l'y mènera, et demande de l'aide pour Y. Dans le benchmark, Y s'appelle la demande explicite, et X le véritable objectif, que l'on peut déduire du contexte.

Que sait-on sur Ce que les modèles ont montré ?

Ai2 a testé Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B et DeepSeek-V4 Pro. Chaque modèle a répondu une seule fois à chaque question. Les cinq proposaient plus souvent une solution pour la demande explicite que pour le véritable objectif. Sur Stack Overflow, une solution pour Y figurait dans 75 à 86 % des réponses, contre 59 à 71 % pour une solution pour X. Mentionner la bonne solution ne suffit pas à en faire le sujet principal.

Que sait-on sur Savoir et faire sont deux compétences différentes ?

Les auteurs ont mené deux expériences complémentaires pour comprendre pourquoi. Dans la première, les modèles recevaient explicitement la demande et le véritable objectif. Chez Sonnet 4.6, sur Stack Overflow, la part de réponses contenant une solution pour l'objectif est passée de 59 % à 67 %. Mais la part de réponses expliquant que l'hypothèse est erronée a chuté de 47 % à 34 %. Tous les modèles restaient en deçà des humains pour identifier l'hypothèse erronée.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…