Teste XYBench: IA escolhe o conselho útil em 71–84% dos casos, mas só o formula em 35–41%
Pergunte a uma IA como engrossar a cobertura de cupcakes, e ela vai sugerir açúcar de confeiteiro, embora a cobertura escorra porque os bolinhos ainda estão quentes. Esse é o chamado problema XY: a pessoa pede ajuda com o método escolhido (Y), e não com o objetivo real (X). No XYBench, com perguntas do Stack Overflow, os modelos escolhem a melhor de duas respostas em 71–84% dos casos, mas, ao escrever a própria resposta, tocam no objetivo real só em 35–41%. Por isso, vale ensinar o assistente a checar primeiro a premissa da pergunta.
Processado por IA de Хабр: Машинное обучение; editado por Hamidun News
Você pergunta a uma IA como deixar a cobertura de cupcakes mais grossa, porque ela escorre. O assistente sugere adicionar açúcar de confeiteiro, mudar as proporções ou bater por mais tempo, e todos os conselhos parecem razoáveis. Mas, se os cupcakes ainda estiverem quentes, a cobertura vai escorrer com qualquer proporção: primeiro é preciso esfriar a massa.
Essa situação se chama problema XY: a pessoa quer alcançar o objetivo X, decidiu que precisa do método Y e pede ajuda apenas com Y. Os pesquisadores mediram como os modelos atuais lidam com isso e encontraram uma lacuna. Nas perguntas do Stack Overflow, a IA escolhe a mais útil entre duas respostas prontas em 71–84% dos casos.
Quando ela escreve a resposta por conta própria, menciona o objetivo real do usuário em apenas 35–41% das respostas. Esse teste se chama XYBench.
O que é o problema XY, com exemplos simples
O termo já é conhecido por quem frequenta fóruns técnicos. A pergunta menciona apenas o método escolhido, e o objetivo real fica de fora.
Exemplo de programação: a pessoa quer extrair dados de um documento XML e pergunta como fazer isso com expressões regulares. O modelo pode montar uma expressão complexa, explicar a sintaxe e listar as limitações. Formalmente, o pedido foi atendido. Mas, para XML estruturado, normalmente um parser especializado é mais confiável: ele considera o aninhamento dos elementos, os atributos e as particularidades do formato. Se as regex não forem obrigatórias, uma resposta útil começaria apontando os pontos fracos delas e sugerindo outra ferramenta.
Fora do código, acontece o mesmo. A pessoa compra um aspirador mais potente, quando a perda de sucção vem de uma mangueira entupida. Ou reinstala o sistema operacional sem descobrir a causa das falhas do aplicativo. Um bom assistente não se limita a dar a instrução: ele verifica se a suposição sobre o caminho até o resultado está correta.
O que o XYBench mostrou
Em 13 de novembro de 2026, pesquisadores do Allen Institute for AI (Ai2), junto com colegas da Carnegie Mellon University, da NVIDIA e da Johns Hopkins University, apresentaram o benchmark XYBench. A equipe foi liderada por Akhila Yerukola. O conjunto reúne 8.115 perguntas de programação, suporte técnico e tarefas cotidianas. Há temas técnicos, como eletrônica e Linux, situações domésticas (reparos, culinária, artesanato) e instruções práticas comuns.
Os autores testaram Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B e DeepSeek-V4 Pro. O principal resultado está na diferença entre "entender" e "fazer". Quando os modelos recebiam duas respostas prontas para uma pergunta do Stack Overflow, escolhiam a mais útil em 71–84% dos casos. Ou seja, sabem distinguir uma boa abordagem de uma ruim. Mas, ao gerar a resposta sozinhos, recorriam ao objetivo real do usuário em apenas 35–41% das respostas. Mesmo quando encontravam a solução correta, muitas vezes continuavam a explicar em detalhes o método inicial, inadequado.
Montar esse conjunto não foi simples. Nem toda pergunta estranha é um problema XY: às vezes o método escolhido se justifica pelas circunstâncias, por exemplo, quando as regex são obrigatórias pelas condições do projeto. Por isso, os autores procuraram descartar as perguntas em que basta executar a instrução literalmente.
Do ponto de vista da linguística, trata-se de uma questão de pragmática: como o contexto e as intenções do interlocutor mudam o sentido de uma frase. Para os modelos de linguagem, isso é especialmente difícil, porque o objetivo raramente é declarado à parte: ele fica escondido dentro do método escolhido.
O que isso significa para desenvolvedores e gerentes de produto
Se você desenvolve um assistente, um suporte técnico ou um ajudante de código, a conclusão é prática. Saber escolher a melhor opção entre respostas prontas não garante uma boa resposta livre. Se o modelo for avaliado apenas com testes de múltipla escolha, o problema pode ser subestimado.
Vale experimentar:
- incluir no prompt de sistema a exigência de verificar primeiro a premissa da pergunta e só depois responder;
- em cenários de depuração e suporte técnico, permitir que o modelo pergunte o que a pessoa realmente quer alcançar;
- incluir nos seus próprios testes exemplos em que cumprir a solicitação literalmente não resolve a tarefa.
Há também limitações. A descrição disponível não traz o detalhamento dos resultados por modelo, então não é possível dizer qual dos cinco se sai melhor. Também não se sabe o quanto a avaliação do benchmark coincide com a opinião de usuários reais. Além disso, a insistência excessiva irrita: se a pessoa realmente precisa das regex, o assistente deve escrevê-las, e não dar uma palestra.
O XYBench oferece aos engenheiros uma forma de medir essa fragilidade, em vez de apenas suspeitar dela.
- 21 de nov. de 2026Desenvolvedor pediu para o Claude instalar 900 aplicativos e criou um limpador gratuito para Mac
- 21 de nov. de 2026Apple prepara um agente de IA e dificulta o acesso de terceiros: a permissão agora tem 14 etapas, e não 4
- 21 de nov. de 2026Qwen3-0.6B ajustado em um Mac mini: erros nas respostas caíram de 9 para 3 em 30
- 21 de nov. de 2026Programador deixou de ser despachante de agentes de IA: o Multica assumiu a rotina de repasses
Perguntas frequentes sobre a notícia
O que é o problema XY, com exemplos simples?
O termo já é conhecido por quem frequenta fóruns técnicos. A pergunta menciona apenas o método escolhido, e o objetivo real fica de fora. Exemplo de programação: a pessoa quer extrair dados de um documento XML e pergunta como fazer isso com expressões regulares. O modelo pode montar uma expressão complexa, explicar a sintaxe e listar as limitações. Formalmente, o pedido foi atendido.
O que o XYBench mostrou?
Em 13 de novembro de 2026, pesquisadores do Allen Institute for AI (Ai2), junto com colegas da Carnegie Mellon University, da NVIDIA e da Johns Hopkins University, apresentaram o benchmark XYBench. A equipe foi liderada por Akhila Yerukola. O conjunto reúne 8.115 perguntas de programação, suporte técnico e tarefas cotidianas. Há temas técnicos, como eletrônica e Linux, situações domésticas (reparos, culinária, artesanato) e instruções práticas comuns.
O que isso significa para desenvolvedores e gerentes de produto?
Se você desenvolve um assistente, um suporte técnico ou um ajudante de código, a conclusão é prática. Saber escolher a melhor opção entre respostas prontas não garante uma boa resposta livre. Se o modelo for avaliado apenas com testes de múltipla escolha, o problema pode ser subestimado.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.