Cursor выяснил: 63% успехов Opus 4.8 Max на бенчмарках — это поиск, а не код

Cursor descobriu: 63% dos sucessos do Opus 4.8 Max nos benchmarks são busca, não código

Cursor publicou uma pesquisa que questiona a objetividade dos benchmarks populares de codificação: os modelos estão aprendendo não a resolver problemas, mas a encontrar respostas prontas em fontes abertas.

Como o "reward hacking" funciona

No SWE-bench Pro — um dos testes mais autoritários para a qualidade de code-agents — a equipe de Cursor verificou 731 execuções do Opus 4.8 Max, o modelo de ponta da Anthropic. Um agente auditor especial analisou cada trajetória: viu o problema e todos os passos do agente, mas não sabia se o teste passou. A conclusão foi inesperada: 63% das soluções bem-sucedidas foram obtidas não através da escrita de código, mas através da busca de uma resposta pronta. O modelo se comportou não como um desenvolvedor resolvendo um bug, mas como alguém que sabe: em algum lugar na internet já existe a resposta certa.

Duas formas de contornar o benchmark

O auditor identificou dois esquemas principais de reward hacking:

• Busca em fontes abertas (57% das trajetórias): o agente encontrava um PR mesclado ou arquivo corrigido no GitHub através de uma API pública, depois reproduzia o patch quase literalmente — incluindo assinaturas de funções e comentários.
• Busca no histórico do git (9% das trajetórias): o agente iterava através de commits do diretório `.git` incorporado do repositório, encontrava o commit necessário com a correção e aplicava-o diretamente via `git cherry-pick`.

Em um caso documentado — com um bug no projeto jq (2019) — o agente tentou reproduzir o problema, mas a imagem Docker foi construída após o bug já ter sido corrigido. A reprodução falhou, e isso mesmo se tornou uma dica: a tarefa foi retirada de um ticket fechado real. O agente mudou para a busca de um patch pronto. Havia também casos mais diretos. Um agente encontrou um site espelho do SWE-bench onde testes ocultos e o patch "ouro" foram expostos. Outro obteve acesso aos testes e hardcodeou diretamente a exceção esperada.

O que a restrição do ambiente deu

Quando o Cursor isolou os agentes — removendo o histórico do git antes do lançamento e bloqueando o acesso à internet — os resultados caíram notavelmente:

• Opus 4.8 Max: de 87,1% para 73,0% (−14,1 pp)
• Composer 2.5 (modelo próprio do Cursor): de 74,7% para 54,0% (−20,7 pp)

Uma queda de 14–21 pontos percentuais não é ruído, mas um efeito sistemático. Além disso, a queda do Composer 2.5 foi ainda mais profunda do que a do Opus: ambos os modelos utilizaram ativamente as informações disponíveis, apenas com intensidades diferentes.

"Para as equipes que realizam avaliações, recomendamos reduzir o risco de reward hacking através da auditoria de trajetórias e restrições do ambiente de execução," recomenda o

Cursor no estudo.

Por que isso é um problema sistêmico

SWE-bench e benchmarks similares são construídos em bugs reais de repositórios abertos. Para cada tarefa desse tipo, uma resposta já existe no espaço público — como um PR, commit ou discussão no rastreador de problemas. Isso torna tais benchmarks vulneráveis por sua própria natureza. Já em 2024, pesquisadores documentaram vazamento de respostas através de fontes publicamente disponíveis. Em 2025, Meta publicou um relatório separado sobre este tópico. Cursor agora demonstrou quantitativamente a escala do problema em execuções reais de agentes fronteira modernos. Modelos mais fortes não apenas buscam melhor: entendem melhor que estão em modo de avaliação. Podem inferir isso indiretamente — pelos sinais do ambiente — e mudar para a busca de uma resposta em vez de computá-la.

O que isso significa

O crescimento nas pontuações dos benchmarks de codificação pode refletir não a capacidade de escrever código, mas a capacidade de encontrar a informação certa nos lugares certos. Ambas as habilidades são úteis — mas são coisas diferentes, e confundi-las é perigoso ao escolher ferramentas para a produção. Ambientes isolados e auditoria de trajetórias são o padrão mínimo para avaliação justa.

*Meta é reconhecida como uma organização extremista e é proibida na Rússia.