OpenAI abandona o principal benchmark de código e muda as regras do jogo

Quando uma empresa cujos modelos ocupavam de forma constante o topo de um ranking abandona esse ranking publicamente, não se trata apenas de uma decisão corporativa. É um sinal de problema sistêmico. A OpenAI anunciou que deixa de avaliar seus modelos no SWE-bench Verified, o benchmark que nos últimos dois anos serviu como principal medida de quão bem a IA sabe escrever e corrigir código real. O motivo é simples e preocupante ao mesmo tempo: o benchmark não mede mais o que deveria medir.

O SWE-bench surgiu como uma tentativa ambiciosa de ir além dos testes sintéticos. Em vez de pedir ao modelo que resolvesse um problema abstrato do LeetCode, ele propunha relatórios de bugs reais de projetos populares de código aberto em Python, como Django, scikit-learn e sympy. O modelo precisava entender a descrição do bug, encontrar o arquivo certo no repositório e escrever um patch que passasse nos testes. A versão Verified veio depois como uma variante depurada, com tarefas checadas manualmente por pessoas. Os laboratórios competiam nela, publicando com orgulho a porcentagem de tarefas resolvidas em cada comunicado à imprensa.

Mas, por trás da fachada de números bonitos, os problemas se acumulavam. A análise interna da OpenAI identificou duas vulnerabilidades críticas. A primeira é a contaminação dos dados de treinamento.

As tarefas do SWE-bench Verified se baseiam em pull requests públicos de repositórios abertos. Esses dados inevitavelmente acabam nos corpora de treinamento dos grandes modelos de linguagem. Em resumo, os modelos podem ter visto as respostas corretas antes mesmo de serem testados.

É o problema clássico de vazamento de dados, mas, no caso do SWE-bench, ele atingiu uma escala que torna os resultados estatisticamente sem sentido. O segundo problema é a qualidade dos próprios testes. Parte das tarefas continha testes incorretos ou incompletos, que podiam aprovar soluções erradas ou rejeitar as corretas.

Quando um benchmark se torna popular o bastante, passa a ser otimizado, e nem sempre por métodos honestos.

É importante entender o contexto dessa decisão. O setor de programação com IA vive um crescimento explosivo. Dezenas de startups, da Cognition com seu Devin à Poolside e à Magic, captam centenas de milhões de dólares em investimentos, e quase todas usam os resultados no SWE-bench como principal argumento em suas apresentações a investidores. Grandes laboratórios, como Anthropic, Google DeepMind e a própria OpenAI, publicam resultados nesse benchmark a cada lançamento de modelo. Na prática, o SWE-bench Verified virou a moeda de confiança da programação com IA. E agora a OpenAI diz que essa moeda perdeu o valor.

A empresa recomenda migrar para o SWE-bench Pro, uma versão atualizada do benchmark que, segundo seus criadores, resolve os dois problemas. As novas tarefas são escolhidas para minimizar a sobreposição com dados públicos de treinamento, e os testes passam por uma verificação mais rigorosa. Mas surge uma pergunta natural: por quanto tempo o SWE-bench Pro continuará limpo? A história dos benchmarks de aprendizado de máquina é a história de sua degradação gradual. ImageNet, GLUE, SuperGLUE, MMLU: todos, com o tempo, deixaram de distinguir modelos realmente fortes daqueles apenas bem treinados para aquele teste específico.

Para o setor, as consequências vão muito além de um único benchmark. Investidores que aplicam dinheiro em startups de programação com IA agora precisam se perguntar o que realmente está por trás dos números impressionantes que lhes foram mostrados. Empresas que integram assistentes de IA aos seus processos de desenvolvimento são obrigadas a rever seus critérios de escolha. E os pesquisadores ganham mais um lembrete de que, na corrida pela liderança nos benchmarks, perde-se a conexão com a utilidade real.

Há ainda uma questão mais profunda. Se o principal laboratório de IA do mundo admite que a ferramenta padrão para medir o progresso está quebrada, como vamos saber se os modelos estão realmente melhorando? Em um mundo em que todo trimestre sai um novo modelo «revolucionário» com resultados recordes, a falta de uma régua confiável não é um detalhe técnico, e sim um problema fundamental.

A OpenAI merece respeito pela honestidade dessa admissão. Mas o simples fato de o setor ter confiado por tanto tempo em um benchmark contaminado indica um déficit sistêmico de pensamento crítico na comunidade. A migração para o SWE-bench Pro é um passo na direção certa.

Mas o progresso de verdade começará quando deixarmos de reduzir a avaliação de IA a um único número em um único teste e passarmos a construir sistemas de avaliação multidimensionais e resistentes a manipulação, que reflitam a capacidade real dos modelos de ajudar desenvolvedores no dia a dia.