A Ai2 testou cinco modelos de topo: eles focam no problema real em apenas 35–41% das respostas
Você pergunta como engrossar a cobertura que escorre dos cupcakes, mas a causa real é que os cupcakes ainda estão quentes. A Ai2 montou o teste XYBench, com 8115 perguntas desse tipo, e avaliou cinco modelos, incluindo GPT-5 e Claude Sonnet 4.6. Nas perguntas do Stack Overflow, eles concentraram a resposta na causa real em apenas 35–41% dos casos, e no método errado citado na pergunta em 47–57%. Por isso, ao escolher um assistente, vale verificar se ele sabe contestar o usuário.
Processado por IA de Ai2 (Allen Institute); editado por Hamidun News
Você pergunta a um assistente como engrossar a cobertura que escorre dos cupcakes. Um bom assistente percebe que o problema não é a consistência: os cupcakes ainda estão quentes, e por isso a cobertura derrete. Um assistente ruim começa a falar em detalhes sobre açúcar de confeiteiro e amido.
A Ai2 lançou o benchmark XYBench para medir justamente essa habilidade e testou cinco modelos fortes. Nas perguntas do Stack Overflow (onde desenvolvedores perguntam sobre código), os modelos colocaram o problema real da pessoa como foco principal da resposta em apenas 35–41% dos casos. Em 47–57% dos casos, concentraram-se no método equivocado sobre o qual a pessoa perguntou.
O trabalho foi feito em parceria com a Carnegie Mellon, a NVIDIA e a Johns Hopkins e recebeu o prêmio Best Resource Paper na EMNLP 2026.
O que é o problema XY e como ele foi testado
A situação é familiar para quem já trabalhou com suporte ou respondeu em fóruns. A pessoa quer alcançar o objetivo X, acredita que o método Y vai ajudar e pede ajuda com Y. No benchmark, Y é chamado de pedido declarado, e X é o objetivo real, que pode ser entendido pelo contexto.
O XYBench tem 8115 perguntas de quatro fontes:
- 1557 perguntas do Stack Overflow;
- 184 perguntas do Stack Exchange;
- 102 exemplos selecionados manualmente;
- 6272 perguntas geradas a partir de tutoriais do WikiHow.
Nas perguntas de fóruns, o objetivo e as possíveis soluções foram identificados a partir das três respostas mais bem avaliadas e da resposta aceita. Casos em que a resposta à pergunta literal era suficiente foram descartados. As perguntas do WikiHow foram geradas pelo modelo Sonnet 4.5. Depois, foram refinadas para que um especialista conseguisse identificar o objetivo, sem que este fosse mencionado explicitamente no texto.
As respostas são avaliadas por três critérios. O primeiro: há uma solução para Y e para X? O segundo: em que a resposta se concentra, no pedido declarado, no objetivo ou em ambos igualmente? O terceiro: o modelo explica que o caminho escolhido está errado e aponta na direção do objetivo? O juiz é o Claude Sonnet 4.5. Duas pessoas revisaram de forma independente 500 respostas. Elas concordaram com o juiz em 97,5–100% dos casos quanto à presença de solução, em 84,6–93,3% quanto à identificação da premissa equivocada e em 74,2–79,8% quanto ao foco. Este último número é bem mais baixo que os demais: o foco é o critério mais difícil de avaliar.
O que os modelos mostraram
A Ai2 testou o Claude Sonnet 4.6, o GPT-5, o Gemini 3.1 Pro, o Qwen3.5-9B e o DeepSeek-V4 Pro. Cada modelo respondeu uma vez a cada pergunta. Todos os cinco ofereceram com mais frequência uma solução para o pedido declarado do que para o objetivo real. No Stack Overflow, havia solução para Y em 75–86% das respostas, e solução para X em 59–71%.
Mencionar a solução correta ainda não significa torná-la o centro da resposta. Um modelo pode dedicar vários parágrafos a recomendar um aspirador mais potente e acrescentar em uma única linha que vale verificar a mangueira. No Stack Overflow, o objetivo real esteve no centro das atenções em apenas 35–41% das respostas, enquanto o pedido declarado ficou em 47–57%. Nas demais respostas, o foco foi dividido de forma aproximadamente igual. Nessa comparação, especialistas humanos foram melhores: com mais frequência, afastavam o usuário do caminho equivocado.
Saber e fazer são habilidades diferentes
Em dois experimentos adicionais, os autores investigaram por que isso acontece.
No primeiro, os modelos receberam explicitamente tanto o pedido declarado quanto o objetivo real. No Stack Overflow, a fatia de respostas do Sonnet 4.6 com solução para o objetivo subiu de 59% para 67%. Porém, a fatia de respostas em que o modelo explica que a premissa está errada caiu de 47% para 34%. Todos os modelos continuaram atrás das pessoas na identificação da premissa equivocada. Ou seja, adivinhar a intenção é só metade do trabalho. O modelo ainda precisa ter coragem de contestar o usuário.
No segundo experimento, os modelos atuaram como juízes. Para seis modelos (os cinco principais e o GPT-4.1), foram apresentadas duas respostas prontas: uma sobre a pergunta literal e outra sobre o objetivo real. Eles escolheram a resposta sobre o objetivo em 71–84% dos casos. Isso indica que os modelos sabem reconhecer qual conselho é mais útil bem melhor do que conseguem escrever esses conselhos por conta própria. Um teste de múltipla escolha não revelaria essa diferença.
O que fazer com isso
Para desenvolvedores de assistentes e equipes de produto, a conclusão é prática. Se os usuários chegam com perguntas imprecisas, e isso acontece quase sempre, uma avaliação apenas pela correção formal da resposta não basta. Vale checar separadamente se o modelo busca a causa do problema. Algumas abordagens possíveis são um prompt de sistema que peça para esclarecer o objetivo antes de responder e a verificação das respostas pelos mesmos três critérios. A própria ideia de escolher a melhor entre duas respostas sugere outra opção: fazer o modelo gerar vários rascunhos e depois escolher aquele que resolve o problema real. Os autores não testaram isso, então trata-se apenas de uma hipótese.
Há também limitações claras. O benchmark é, por enquanto, em inglês e voltado sobretudo a tarefas procedimentais: programação, culinária e reparos domésticos. O juiz também é um modelo, e, no critério de foco, sua concordância com as pessoas não passa de 80%. A Ai2 apenas propõe estudar em trabalhos futuros o efeito do treinamento e dos prompts sobre esses resultados.
- 21 de nov. de 2026As vagas de FDE cresceram 4,6 vezes em um ano: o que faz o engenheiro no cliente
- 21 de nov. de 2026Anthropic cortou em 20% o preço do Claude Fable 5.2, e no teste de código ele quase empata com o Opus 5.5
- 21 de nov. de 2026Dreamteam capta US$ 53 milhões para um CRM que se preenche sozinho a partir de e-mails e ligações
- 21 de nov. de 2026Claude Opus 5.5 completa o horror Dimension 9 a partir de 15 salas criadas pelo autor
Perguntas frequentes sobre a notícia
O que é o problema XY e como ele foi testado?
A situação é familiar para quem já trabalhou com suporte ou respondeu em fóruns. A pessoa quer alcançar o objetivo X, acredita que o método Y vai ajudar e pede ajuda com Y. No benchmark, Y é chamado de pedido declarado, e X é o objetivo real, que pode ser entendido pelo contexto. O XYBench tem 8115 perguntas de quatro fontes: 1557 perguntas do Stack Overflow; 184 perguntas do Stack Exchange; 102 exemplos selecionados manualmente; 6272 perguntas geradas a partir de tutoriais do WikiHow.
O que os modelos mostraram?
A Ai2 testou o Claude Sonnet 4.6, o GPT-5, o Gemini 3.1 Pro, o Qwen3.5-9B e o DeepSeek-V4 Pro. Cada modelo respondeu uma vez a cada pergunta. Todos os cinco ofereceram com mais frequência uma solução para o pedido declarado do que para o objetivo real. No Stack Overflow, havia solução para Y em 75–86% das respostas, e solução para X em 59–71%. Mencionar a solução correta ainda não significa torná-la o centro da resposta.
O que se sabe sobre Saber e fazer são habilidades diferentes?
Em dois experimentos adicionais, os autores investigaram por que isso acontece. No primeiro, os modelos receberam explicitamente tanto o pedido declarado quanto o objetivo real. No Stack Overflow, a fatia de respostas do Sonnet 4.6 com solução para o objetivo subiu de 59% para 67%. Porém, a fatia de respostas em que o modelo explica que a premissa está errada caiu de 47% para 34%. Todos os modelos continuaram atrás das pessoas na identificação da premissa equivocada.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.