Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
IndústriaAnálise · No radarAi2 (Allen Institute)→ original

A Ai2 testou cinco modelos de topo: eles focam no problema real em apenas 35–41% das respostas

Você pergunta como engrossar a cobertura que escorre dos cupcakes, mas a causa real é que os cupcakes ainda estão quentes. A Ai2 montou o teste XYBench, com 8115 perguntas desse tipo, e avaliou cinco modelos, incluindo GPT-5 e Claude Sonnet 4.6. Nas perguntas do Stack Overflow, eles concentraram a resposta na causa real em apenas 35–41% dos casos, e no método errado citado na pergunta em 47–57%. Por isso, ao escolher um assistente, vale verificar se ele sabe contestar o usuário.

Processado por IA de Ai2 (Allen Institute); editado por Hamidun News
A Ai2 testou cinco modelos de topo: eles focam no problema real em apenas 35–41% das respostas
Fonte: Ai2 (Allen Institute). Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAi2 (Allen Institute) ↗
Editor-chefe
8115 perguntasStack Overflow, Stack Exchange, WikiHow e exemplos feitos à mão
Dado-chave #2Entre duas respostas prontas, a correta é escolhida em 71–84% dos casos
Dado-chave #3Uma dica sobre o objetivo elevou a taxa de soluções do Sonnet 4.6 de 59% para 67%

Você pergunta a um assistente como engrossar a cobertura que escorre dos cupcakes. Um bom assistente percebe que o problema não é a consistência: os cupcakes ainda estão quentes, e por isso a cobertura derrete. Um assistente ruim começa a falar em detalhes sobre açúcar de confeiteiro e amido.

A Ai2 lançou o benchmark XYBench para medir justamente essa habilidade e testou cinco modelos fortes. Nas perguntas do Stack Overflow (onde desenvolvedores perguntam sobre código), os modelos colocaram o problema real da pessoa como foco principal da resposta em apenas 35–41% dos casos. Em 47–57% dos casos, concentraram-se no método equivocado sobre o qual a pessoa perguntou.

O trabalho foi feito em parceria com a Carnegie Mellon, a NVIDIA e a Johns Hopkins e recebeu o prêmio Best Resource Paper na EMNLP 2026.

O que é o problema XY e como ele foi testado

A situação é familiar para quem já trabalhou com suporte ou respondeu em fóruns. A pessoa quer alcançar o objetivo X, acredita que o método Y vai ajudar e pede ajuda com Y. No benchmark, Y é chamado de pedido declarado, e X é o objetivo real, que pode ser entendido pelo contexto.

O XYBench tem 8115 perguntas de quatro fontes:

  • 1557 perguntas do Stack Overflow;
  • 184 perguntas do Stack Exchange;
  • 102 exemplos selecionados manualmente;
  • 6272 perguntas geradas a partir de tutoriais do WikiHow.

Nas perguntas de fóruns, o objetivo e as possíveis soluções foram identificados a partir das três respostas mais bem avaliadas e da resposta aceita. Casos em que a resposta à pergunta literal era suficiente foram descartados. As perguntas do WikiHow foram geradas pelo modelo Sonnet 4.5. Depois, foram refinadas para que um especialista conseguisse identificar o objetivo, sem que este fosse mencionado explicitamente no texto.

As respostas são avaliadas por três critérios. O primeiro: há uma solução para Y e para X? O segundo: em que a resposta se concentra, no pedido declarado, no objetivo ou em ambos igualmente? O terceiro: o modelo explica que o caminho escolhido está errado e aponta na direção do objetivo? O juiz é o Claude Sonnet 4.5. Duas pessoas revisaram de forma independente 500 respostas. Elas concordaram com o juiz em 97,5–100% dos casos quanto à presença de solução, em 84,6–93,3% quanto à identificação da premissa equivocada e em 74,2–79,8% quanto ao foco. Este último número é bem mais baixo que os demais: o foco é o critério mais difícil de avaliar.

O que os modelos mostraram

A Ai2 testou o Claude Sonnet 4.6, o GPT-5, o Gemini 3.1 Pro, o Qwen3.5-9B e o DeepSeek-V4 Pro. Cada modelo respondeu uma vez a cada pergunta. Todos os cinco ofereceram com mais frequência uma solução para o pedido declarado do que para o objetivo real. No Stack Overflow, havia solução para Y em 75–86% das respostas, e solução para X em 59–71%.

Mencionar a solução correta ainda não significa torná-la o centro da resposta. Um modelo pode dedicar vários parágrafos a recomendar um aspirador mais potente e acrescentar em uma única linha que vale verificar a mangueira. No Stack Overflow, o objetivo real esteve no centro das atenções em apenas 35–41% das respostas, enquanto o pedido declarado ficou em 47–57%. Nas demais respostas, o foco foi dividido de forma aproximadamente igual. Nessa comparação, especialistas humanos foram melhores: com mais frequência, afastavam o usuário do caminho equivocado.

Saber e fazer são habilidades diferentes

Em dois experimentos adicionais, os autores investigaram por que isso acontece.

No primeiro, os modelos receberam explicitamente tanto o pedido declarado quanto o objetivo real. No Stack Overflow, a fatia de respostas do Sonnet 4.6 com solução para o objetivo subiu de 59% para 67%. Porém, a fatia de respostas em que o modelo explica que a premissa está errada caiu de 47% para 34%. Todos os modelos continuaram atrás das pessoas na identificação da premissa equivocada. Ou seja, adivinhar a intenção é só metade do trabalho. O modelo ainda precisa ter coragem de contestar o usuário.

No segundo experimento, os modelos atuaram como juízes. Para seis modelos (os cinco principais e o GPT-4.1), foram apresentadas duas respostas prontas: uma sobre a pergunta literal e outra sobre o objetivo real. Eles escolheram a resposta sobre o objetivo em 71–84% dos casos. Isso indica que os modelos sabem reconhecer qual conselho é mais útil bem melhor do que conseguem escrever esses conselhos por conta própria. Um teste de múltipla escolha não revelaria essa diferença.

O que fazer com isso

Para desenvolvedores de assistentes e equipes de produto, a conclusão é prática. Se os usuários chegam com perguntas imprecisas, e isso acontece quase sempre, uma avaliação apenas pela correção formal da resposta não basta. Vale checar separadamente se o modelo busca a causa do problema. Algumas abordagens possíveis são um prompt de sistema que peça para esclarecer o objetivo antes de responder e a verificação das respostas pelos mesmos três critérios. A própria ideia de escolher a melhor entre duas respostas sugere outra opção: fazer o modelo gerar vários rascunhos e depois escolher aquele que resolve o problema real. Os autores não testaram isso, então trata-se apenas de uma hipótese.

Há também limitações claras. O benchmark é, por enquanto, em inglês e voltado sobretudo a tarefas procedimentais: programação, culinária e reparos domésticos. O juiz também é um modelo, e, no critério de foco, sua concordância com as pessoas não passa de 80%. A Ai2 apenas propõe estudar em trabalhos futuros o efeito do treinamento e dos prompts sobre esses resultados.

História

Perguntas frequentes sobre a notícia

O que é o problema XY e como ele foi testado?

A situação é familiar para quem já trabalhou com suporte ou respondeu em fóruns. A pessoa quer alcançar o objetivo X, acredita que o método Y vai ajudar e pede ajuda com Y. No benchmark, Y é chamado de pedido declarado, e X é o objetivo real, que pode ser entendido pelo contexto. O XYBench tem 8115 perguntas de quatro fontes: 1557 perguntas do Stack Overflow; 184 perguntas do Stack Exchange; 102 exemplos selecionados manualmente; 6272 perguntas geradas a partir de tutoriais do WikiHow.

O que os modelos mostraram?

A Ai2 testou o Claude Sonnet 4.6, o GPT-5, o Gemini 3.1 Pro, o Qwen3.5-9B e o DeepSeek-V4 Pro. Cada modelo respondeu uma vez a cada pergunta. Todos os cinco ofereceram com mais frequência uma solução para o pedido declarado do que para o objetivo real. No Stack Overflow, havia solução para Y em 75–86% das respostas, e solução para X em 59–71%. Mencionar a solução correta ainda não significa torná-la o centro da resposta.

O que se sabe sobre Saber e fazer são habilidades diferentes?

Em dois experimentos adicionais, os autores investigaram por que isso acontece. No primeiro, os modelos receberam explicitamente tanto o pedido declarado quanto o objetivo real. No Stack Overflow, a fatia de respostas do Sonnet 4.6 com solução para o objetivo subiu de 59% para 67%. Porém, a fatia de respostas em que o modelo explica que a premissa está errada caiu de 47% para 34%. Todos os modelos continuaram atrás das pessoas na identificação da premissa equivocada.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…