FindStatBench: novo benchmark mostra onde os melhores modelos de IA falham na síntese de código

Em julho de 2026, pesquisadores apresentaram o FindStatBench, um benchmark que avalia grandes modelos de linguagem em síntese de código combinatório: 2 329 tarefas, 24 coleções e 5,52 milhões de objetos de teste ocultos. Nesse conjunto, os melhores modelos abertos e fechados ficaram separados por menos de um ponto percentual de precisão.

O que o FindStatBench avalia

O FindStatBench é construído sobre o projeto matemático FindStat. Ele exige que o modelo escreva uma única função solve em Python a partir da descrição matemática da tarefa e de, no máximo, cinco exemplos públicos de «entrada-saída». Não há busca, chamada de ferramentas, retorno da execução, votação nem reranqueamento: o modelo tem uma única tentativa. A resposta roda em um sandbox sobre objetos combinatórios ocultos e é verificada por execução exata.

Os autores testaram 11 sistemas: quatro modelos fechados de produção e sete modelos com pesos abertos, servidos por um único provedor de inferência.

• 2 329 tarefas em 24 coleções, 5,52 milhões de objetos de teste ocultos
• Dois tipos: statistic synthesis (objeto → número inteiro) e map synthesis (objeto → objeto)
• Entrada: a descrição e no máximo 5 exemplos «entrada-saída»
• Avaliação: execução exata da função em Python no sandbox
• 11 sistemas testados: 4 fechados + 7 abertos

Por que exemplos no prompt atrapalham

Em parte das tarefas, os exemplos no prompt reduzem a precisão em vez de aumentá-la. Segundo o trabalho, os modelos resolvem perfeitamente várias bijeções clássicas sem nenhum exemplo, mas falham nas mesmas tarefas quando recebem cinco exemplos de «entrada-saída». Outra parte das falhas vem da mecânica do orçamento de saída: o raciocínio do modelo esgota a resposta visível antes de chegar ao código propriamente dito. Prompts longos provocam uma queda brusca de precisão, que os autores chamam de accuracy cliff.

Onde os modelos esbarram no teto

A statistic synthesis é bem mais fácil para os modelos do que a map synthesis: associar um objeto a um número inteiro é mais simples do que associar um objeto a outro objeto. Os melhores sistemas abertos e fechados ficam a menos de um ponto percentual um do outro em instance accuracy. Combinar todos os sistemas em um «oráculo» e fazer amostragem cinco vezes com um modelo de força mediana produzem apenas um ganho limitado. Algumas coleções de tarefas continuam com resultado zero.

«Statistic synthesis é muito mais fácil do que map synthesis... e a indução exata de regras simbólicas continua frágil», diz o resumo do

FindStatBench no arXiv.

O que isso significa

Mesmo os melhores LLMs ainda deduzem mal regras simbólicas exatas a partir de descrições matemáticas, e mais exemplos ou mais computação não derrubam esse muro. O FindStatBench oferece ao setor um teste rigoroso e executável para esse tipo de raciocínio, e não para a reprodução de soluções conhecidas.

Perguntas frequentes

O que é o FindStatBench?

É um benchmark executável baseado no projeto FindStat: 2 329 tarefas de síntese combinatória de código, em que o modelo escreve uma função em Python e a resposta é verificada por execução exata em 5,52 milhões de objetos ocultos, sem direito a dicas, ferramentas ou novas tentativas.

Por que mais exemplos nem sempre ajudam os modelos?

Segundo o trabalho, os modelos resolvem perfeitamente várias bijeções clássicas sem um único exemplo, mas falham quando o prompt traz cinco exemplos: o contexto longo leva a uma queda brusca de precisão, e o raciocínio às vezes esgota o orçamento da resposta antes de o código ser gerado.