Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoArtigo científico · Para P&DХабр: Машинное обучение→ original

Teste XYBench: IA escolhe o conselho útil em 71–84% dos casos, mas só o formula em 35–41%

Pergunte a uma IA como engrossar a cobertura de cupcakes, e ela vai sugerir açúcar de confeiteiro, embora a cobertura escorra porque os bolinhos ainda estão quentes. Esse é o chamado problema XY: a pessoa pede ajuda com o método escolhido (Y), e não com o objetivo real (X). No XYBench, com perguntas do Stack Overflow, os modelos escolhem a melhor de duas respostas em 71–84% dos casos, mas, ao escrever a própria resposta, tocam no objetivo real só em 35–41%. Por isso, vale ensinar o assistente a checar primeiro a premissa da pergunta.

Processado por IA de Хабр: Машинное обучение; editado por Hamidun News
Teste XYBench: IA escolhe o conselho útil em 71–84% dos casos, mas só o formula em 35–41%
Fonte: Хабр: Машинное обучение. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalХабр: Машинное обучение ↗
Editor-chefe
Dado-chave #1Foram avaliados Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B e DeepSeek-V4 Pro
Dado-chave #2O benchmark tem 8.115 perguntas sobre código, suporte técnico e tarefas do dia a dia
Exemplopedem uma regex para XML, mas um parser pronto é mais confiável

Você pergunta a uma IA como deixar a cobertura de cupcakes mais grossa, porque ela escorre. O assistente sugere adicionar açúcar de confeiteiro, mudar as proporções ou bater por mais tempo, e todos os conselhos parecem razoáveis. Mas, se os cupcakes ainda estiverem quentes, a cobertura vai escorrer com qualquer proporção: primeiro é preciso esfriar a massa.

Essa situação se chama problema XY: a pessoa quer alcançar o objetivo X, decidiu que precisa do método Y e pede ajuda apenas com Y. Os pesquisadores mediram como os modelos atuais lidam com isso e encontraram uma lacuna. Nas perguntas do Stack Overflow, a IA escolhe a mais útil entre duas respostas prontas em 71–84% dos casos.

Quando ela escreve a resposta por conta própria, menciona o objetivo real do usuário em apenas 35–41% das respostas. Esse teste se chama XYBench.

O que é o problema XY, com exemplos simples

O termo já é conhecido por quem frequenta fóruns técnicos. A pergunta menciona apenas o método escolhido, e o objetivo real fica de fora.

Exemplo de programação: a pessoa quer extrair dados de um documento XML e pergunta como fazer isso com expressões regulares. O modelo pode montar uma expressão complexa, explicar a sintaxe e listar as limitações. Formalmente, o pedido foi atendido. Mas, para XML estruturado, normalmente um parser especializado é mais confiável: ele considera o aninhamento dos elementos, os atributos e as particularidades do formato. Se as regex não forem obrigatórias, uma resposta útil começaria apontando os pontos fracos delas e sugerindo outra ferramenta.

Fora do código, acontece o mesmo. A pessoa compra um aspirador mais potente, quando a perda de sucção vem de uma mangueira entupida. Ou reinstala o sistema operacional sem descobrir a causa das falhas do aplicativo. Um bom assistente não se limita a dar a instrução: ele verifica se a suposição sobre o caminho até o resultado está correta.

O que o XYBench mostrou

Em 13 de novembro de 2026, pesquisadores do Allen Institute for AI (Ai2), junto com colegas da Carnegie Mellon University, da NVIDIA e da Johns Hopkins University, apresentaram o benchmark XYBench. A equipe foi liderada por Akhila Yerukola. O conjunto reúne 8.115 perguntas de programação, suporte técnico e tarefas cotidianas. Há temas técnicos, como eletrônica e Linux, situações domésticas (reparos, culinária, artesanato) e instruções práticas comuns.

Os autores testaram Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B e DeepSeek-V4 Pro. O principal resultado está na diferença entre "entender" e "fazer". Quando os modelos recebiam duas respostas prontas para uma pergunta do Stack Overflow, escolhiam a mais útil em 71–84% dos casos. Ou seja, sabem distinguir uma boa abordagem de uma ruim. Mas, ao gerar a resposta sozinhos, recorriam ao objetivo real do usuário em apenas 35–41% das respostas. Mesmo quando encontravam a solução correta, muitas vezes continuavam a explicar em detalhes o método inicial, inadequado.

Montar esse conjunto não foi simples. Nem toda pergunta estranha é um problema XY: às vezes o método escolhido se justifica pelas circunstâncias, por exemplo, quando as regex são obrigatórias pelas condições do projeto. Por isso, os autores procuraram descartar as perguntas em que basta executar a instrução literalmente.

Do ponto de vista da linguística, trata-se de uma questão de pragmática: como o contexto e as intenções do interlocutor mudam o sentido de uma frase. Para os modelos de linguagem, isso é especialmente difícil, porque o objetivo raramente é declarado à parte: ele fica escondido dentro do método escolhido.

O que isso significa para desenvolvedores e gerentes de produto

Se você desenvolve um assistente, um suporte técnico ou um ajudante de código, a conclusão é prática. Saber escolher a melhor opção entre respostas prontas não garante uma boa resposta livre. Se o modelo for avaliado apenas com testes de múltipla escolha, o problema pode ser subestimado.

Vale experimentar:

  • incluir no prompt de sistema a exigência de verificar primeiro a premissa da pergunta e só depois responder;
  • em cenários de depuração e suporte técnico, permitir que o modelo pergunte o que a pessoa realmente quer alcançar;
  • incluir nos seus próprios testes exemplos em que cumprir a solicitação literalmente não resolve a tarefa.

Há também limitações. A descrição disponível não traz o detalhamento dos resultados por modelo, então não é possível dizer qual dos cinco se sai melhor. Também não se sabe o quanto a avaliação do benchmark coincide com a opinião de usuários reais. Além disso, a insistência excessiva irrita: se a pessoa realmente precisa das regex, o assistente deve escrevê-las, e não dar uma palestra.

O XYBench oferece aos engenheiros uma forma de medir essa fragilidade, em vez de apenas suspeitar dela.

História

Perguntas frequentes sobre a notícia

O que é o problema XY, com exemplos simples?

O termo já é conhecido por quem frequenta fóruns técnicos. A pergunta menciona apenas o método escolhido, e o objetivo real fica de fora. Exemplo de programação: a pessoa quer extrair dados de um documento XML e pergunta como fazer isso com expressões regulares. O modelo pode montar uma expressão complexa, explicar a sintaxe e listar as limitações. Formalmente, o pedido foi atendido.

O que o XYBench mostrou?

Em 13 de novembro de 2026, pesquisadores do Allen Institute for AI (Ai2), junto com colegas da Carnegie Mellon University, da NVIDIA e da Johns Hopkins University, apresentaram o benchmark XYBench. A equipe foi liderada por Akhila Yerukola. O conjunto reúne 8.115 perguntas de programação, suporte técnico e tarefas cotidianas. Há temas técnicos, como eletrônica e Linux, situações domésticas (reparos, culinária, artesanato) e instruções práticas comuns.

O que isso significa para desenvolvedores e gerentes de produto?

Se você desenvolve um assistente, um suporte técnico ou um ajudante de código, a conclusão é prática. Saber escolher a melhor opção entre respostas prontas não garante uma boa resposta livre. Se o modelo for avaliado apenas com testes de múltipla escolha, o problema pode ser subestimado.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…