O melhor modelo de IA resolve apenas 12% das tarefas de trabalho no novo benchmark GDPx

O melhor modelo disponível hoje resolve 12% das tarefas profissionais reais. O número parece um erro de digitação, principalmente se o seu repositório já contém um projeto escrito por IA. Mas foi exatamente esse o resultado do novo benchmark GDPx, da SemiAnalysis.

O que o benchmark avalia

A SemiAnalysis é conhecida por suas análises do mercado de semicondutores e da economia da IA. Em 2 de novembro, a empresa publicou o GDPx. Os autores — Max Kan, Andrew Megalaa e o fundador da empresa, Dylan Patel — o conceberam como o teste mais rigoroso das capacidades dos agentes. A avaliação não mede conhecimento factual nem habilidade para resolver problemas de olimpíadas, mas o desempenho em trabalhos pelos quais as empresas estão dispostas a pagar.

A escolha dos autores é reveladora: a empresa analisa a IA pela perspectiva financeira, considerando quanto custam chips, data centers e tokens. Para ela, a principal pergunta não é «quanto o modelo é inteligente?», mas «ele se paga?». Daí o foco em tarefas remuneradas.

O Claude Opus 5.5, da Anthropic, teve o melhor resultado geral. E esse resultado foi justamente os 12% mencionados. Os demais modelos ficaram abaixo disso.

Uma ressalva importante: o trecho ao qual temos acesso não traz detalhes da metodologia, como a composição das tarefas, o método de avaliação e os resultados dos outros modelos. Antes de citar o número em uma apresentação, consulte a publicação original da SemiAnalysis.

Por que os agentes têm tanta dificuldade

Uma tarefa real de trabalho envolve uma sequência de etapas, e não uma única resposta: entender o contexto, escolher ferramentas, executar, verificar e corrigir. Uma conta simples mostra o risco. Se um agente conclui cada etapa com sucesso em 90% dos casos, chegará ao fim de uma sequência de dez etapas com sucesso em aproximadamente 35% dos casos. Isso é uma ilustração, não um dado do GDPx, mas o mecanismo é o mesmo: os erros se acumulam e, no trabalho comercial, um resultado «quase certo» muitas vezes vale zero.

Isso explica a distância entre a percepção e os números. Quando você pede a um modelo que escreva uma função ou esboce um script, ele costuma acertar. Quando entrega uma tarefa inteira — com um briefing incompleto, código de terceiros e a exigência de deixar tudo funcionando —, o cenário muda. Um projeto escrito por IA que «parece funcionar» e uma tarefa concluída bem o suficiente para o cliente pagar são coisas diferentes.

O que fazer a respeito

Para desenvolvedores: não avalie um agente pela demonstração. Reúna 20–30 tarefas reais suas, com critérios de aceitação claros, e teste o modelo nelas. Esse será o seu mini-GDPx particular. Registre a proporção de tarefas concluídas sem correções humanas: essa métrica é mais honesta do que qualquer pontuação média.

Para profissionais de produto: inclua uma pessoa no processo. Se um recurso promete operação totalmente autônoma, seu alcance real pode ser várias vezes menor do que sugerem os slides de marketing. Considere o custo de verificar e aprimorar o resultado nos cálculos econômicos.

Para fundadores: 12% não é motivo para encerrar projetos de agentes. É motivo para escolher casos de uso específicos, com sequências curtas e verificação barata, e para deixar de vender um «substituto de funcionário». Um benchmark com um teto de desempenho tão baixo também tem uma vantagem: ele não está saturado. Há espaço para melhorar, e será possível acompanhar o progresso dos próximos modelos.

Limitações

Um único benchmark não representa toda a realidade. Seus autores definiram o que conta como uma «tarefa profissional real», e outro conjunto de tarefas produzirá números diferentes. Além disso, a SemiAnalysis é uma empresa de análise, não um laboratório independente, por isso vale examinar até que ponto os resultados são reproduzíveis e se o conjunto de tarefas está disponível publicamente. Ainda assim, o sinal é claro: continua existindo uma grande distância entre «escrever código» e «executar o trabalho», e vale medi-la com suas próprias tarefas.