Claude Opus 5.5 chega a 68% no HLE-Diamond, mas cada tarefa custa 35 vezes mais

A equipe da Artificial Analysis, laboratório independente que compara modelos de IA por qualidade e preço, mostrou quanto custa cada ponto extra de precisão. No HLE-Diamond, conjunto de perguntas especializadas muito difíceis do teste Humanity's Last Exam ("O Último Exame da Humanidade"), o Claude Opus 5.5, da Anthropic, resolve 42% das tarefas no nível baixo de esforço e 68% no máximo. O ganho é de 26 pontos percentuais, mas cada tarefa sai cerca de 35 vezes mais cara. No GPT-6 Astra, da OpenAI, o resultado subiu de 45% para 64%, ou seja, 19 pontos, com o preço da tarefa multiplicado por 11.

O que se chama de "esforço" aqui

Os modelos de raciocínio atuais não respondem de imediato. Primeiro, eles escrevem um longo rascunho de raciocínio: testam alternativas, verificam o próprio trabalho e voltam atrás. A configuração de esforço (effort) define quanto desse "pensar" é permitido. No nível baixo, o modelo responde rápido e de forma curta. No máximo, ele pode gastar numa única tarefa várias vezes mais tokens.

Quem paga por esses tokens é quem chama o modelo. Por isso, qualidade e preço crescem juntos. Ao aumentar o esforço, você obtém mais respostas corretas, mas paga bem mais por cada tentativa.

Os números dos dois modelos lado a lado

O post da Artificial Analysis traz os seguintes dados:

• Claude Opus 5.5: esforço baixo 42%, máximo 68%, ganho de 26 pontos, preço da tarefa multiplicado por cerca de 35.
• GPT-6 Astra: esforço baixo 45%, máximo 64%, ganho de 19 pontos, preço da tarefa multiplicado por 11.

É possível extrair mais alguns números desses dados. No esforço mínimo, o GPT-6 Astra está 3 pontos à frente do Opus (45% contra 42%). No máximo, a situação se inverte: o Opus lidera por 4 pontos (68% contra 64%). A taxa de erro do Opus caiu de 58% para 32%, e a do GPT, de 55% para 36%.

Por esses dados, não dá para saber qual modelo é mais barato. Os números mostram apenas quantas vezes o preço da tarefa aumenta dentro de cada modelo. Em dólares absolutos, o Opus no máximo pode custar tanto mais quanto menos que o GPT-6 Astra no máximo. Isso depende do preço inicial no nível baixo e das tarifas de tokens de cada fornecedor.

Quanto custa cada ponto adicional

Dá para estimar como o preço se relaciona com a qualidade. Um aumento de 35 vezes equivale a cerca de cinco duplicações (2⁵ = 32). Nelas, o Opus ganhou 26 pontos, ou seja, cerca de 5 pontos por duplicação. Um aumento de 11 vezes equivale a cerca de 3,5 duplicações, e os 19 pontos rendem aproximadamente 5,5 pontos por duplicação no GPT-6 Astra.

É uma aritmética grosseira. A curva real quase certamente não é uma reta perfeita, e o crescimento deve desacelerar nos níveis mais altos. Ainda assim, o quadro é útil: o GPT-6 Astra converte dinheiro extra em precisão com um pouco mais de eficiência, enquanto o Opus 5.5 vai mais longe no teto de qualidade. Para obter os últimos 10–15 pontos, será preciso pagar um valor desproporcionalmente alto.

O que engenheiros e empresas devem fazer com isso

A principal conclusão prática: dizer "qual modelo é melhor" sem indicar o modo de operação quase não informa nada. O mesmo modelo, em configurações diferentes, varia de 19 a 26 pontos, mais do que a diferença entre os líderes num mesmo nível de esforço. A comparação deve ser feita pelo par "modelo mais configuração" e pelo custo por tarefa resolvida.

Passos práticos:

• Para tarefas em massa, como classificação, extração de dados e respostas-padrão de suporte, use esforço baixo. Nesses casos, a precisão raramente depende da profundidade do raciocínio, e o custo 35 vezes maior não compensa.
• Reserve o esforço máximo para casos raros e caros: análises complexas, questões científicas, bugs difíceis. Lá, o erro custa mais do que os tokens extras.
• Monte um roteamento. Faça primeiro uma execução barata e envie para o modo máximo apenas o que o modelo não resolveu com confiança ou o que não passou na verificação.
• Meça o custo por resposta correta com os seus próprios dados, e não apenas o percentual do benchmark. Um teste como o HLE-Diamond mostra o teto em perguntas de exame, e as suas tarefas reais podem se comportar de outra forma.

O post da Artificial Analysis é um bom lembrete: nos modelos de raciocínio, a precisão virou um parâmetro ajustável, e não uma característica fixa. Junto com ela, a conta também se ajusta.