Melhor agente de IA cumpriu apenas 12% dos requisitos no novo teste GDPx, com 206 tarefas

Imagine que você entregou a um agente de IA um dia inteiro de trabalho: abrir um programa profissional como o Siemens NX (sistema de projeto assistido por computador), modelar uma peça a partir de uma especificação com dezenas de itens ou encontrar um documento específico entre milhares de arquivos. Os benchmarks tradicionais não testam isso, pois se limitam a perguntas de conhecimento. A consultoria de análise SemiAnalysis lançou o GDPx, um teste que avalia o trabalho em si: 206 tarefas, de várias horas cada.

O melhor resultado é do Claude Opus 5.5, com 12%. Esses percentuais indicam a fração dos requisitos da tarefa que foi cumprida, e não o "percentual de respostas corretas".

A conclusão prática é simples: por enquanto, não é possível confiar a um agente, de forma totalmente autônoma, um trabalho profissional complexo.

O que exatamente é testado

O GDPx não faz perguntas factuais ao modelo. O agente é colocado em um ambiente que simula o ambiente de trabalho e atua por até oito horas em softwares profissionais, busca dados em "data rooms" (repositórios de documentos) com milhares de arquivos ou ataca sistemas corporativos reais. As tarefas se dividem em onze áreas: projeto de chips, biologia, trading quantitativo, cibersegurança, direito e outras. Os autores excluíram deliberadamente administração e seguros. Na lógica deles, o primeiro trilhão de dólares em receita da IA virá dos setores em que os modelos de ponta entregam o maior retorno.

A SemiAnalysis separa explicitamente o GDPx do teste GDPval, da OpenAI: segundo ela, nesse teste todo o contexto está no prompt e não há um ambiente de trabalho realista.

A pontuação também foge do padrão. Em tarefas financeiras e jurídicas, um único número errado em uma tabela torna todo o resultado inútil. Com um critério tão rígido, nenhum modelo concluiria nenhuma tarefa. Por isso, a SemiAnalysis calcula a fração dos requisitos individuais cumpridos, e o ranking final é a média das onze áreas, todas com o mesmo peso.

Quem lidera e quanto custa

O Claude Opus 5.5 lidera, com 12%. Em seguida vem o Gemini 4 Carbon, do Google, com 10,9%, e cada tarefa custa $16,29, cerca de um terço do preço do líder. Em terceiro está o GPT-6 Astra, com 9,6%. Na parte de baixo da tabela, GPT-6 Luna e DeepSeek 4.1 Flash fizeram cerca de 5%, a um custo de aproximadamente um dólar por tarefa. O Muse Wonder Full, da Meta, ficou fora da comparação de preços porque não tem preço público.

Os detalhes mostram onde os agentes falham. No teste de cumprimento de regras, 98% de 200 execuções de cibersegurança violaram pelo menos uma regra de comportamento. Em uma simulação de prática médica, um dos modelos assinou um registro clínico com o nome do médico. No trading quantitativo, 70 de 111 execuções ficaram abaixo da estratégia de referência definida.

Filtros de segurança embaralham o ranking

Parte do quadro depende dos mecanismos de proteção dos provedores. Se forem removidas cibersegurança, biologia e alignment (avaliação de comportamento), o GPT-6 Astra assume o primeiro lugar, com 11,8%, e ultrapassa o Opus 5.5. No domínio de cibersegurança, GPT-6 Astra e GPT 6.1 Sol receberam zero por cento, enquanto o Muse Wonder Full, da Meta, fez 35,2%. No ranking completo, o Muse Wonder Full é o quarto; sem essas três áreas, cai para o sétimo lugar. Ou seja, parte da distância entre os modelos reflete menos a capacidade de trabalho e mais a disposição de recusar a tarefa.

Por que os resultados pedem cautela

As tarefas foram preparadas por 14 parceiros especializados, que também vendem a laboratórios dados para treinamento e avaliação. A SemiAnalysis não tem expertise própria em todas as áreas. Em geral, só um exemplo por parceiro é público; o restante é fechado. Em várias áreas, incluindo direito e projeto de hardware, os resultados são avaliados por modelos de linguagem com base em critérios predefinidos, e não por especialistas humanos. A dificuldade e a qualidade da avaliação não podem ser verificadas de fora. Em contrapartida, o sigilo tem uma vantagem: os laboratórios não conseguem ajustar os modelos a tarefas específicas. A Artificial Analysis deu um passo semelhante na nova versão do Intelligence Index.

O desenvolvedor Josh Purtell chama o GDPx de "mais ruído do que sinal". Cada modelo foi executado no ambiente de agente "nativo" do próprio provedor, por exemplo o Opus no Claude Code, e quem tem ferramentas mais fracas fica em desvantagem. Além disso, alguns subdomínios têm cerca de dez tarefas, o que torna os resultados instáveis.

O que fazer com isso

Se você está construindo um agente para trabalho profissional, inclua revisão humana, principalmente em finanças, direito e medicina. Compare os modelos em tarefas próprias, e não apenas pelo ranking geral. E olhe o preço: o Gemini 4 Carbon quase alcança o líder por um terço do custo. A SemiAnalysis pretende atualizar o benchmark a cada três a seis meses, o que permitirá acompanhar a evolução.