Artificial Analysis lança Intelligence Index v5: modelos abertos ficam 12 pontos atrás

A Artificial Analysis lançou o Intelligence Index v5, a maior atualização do seu ranking composto desde janeiro. O índice agora reúne nove avaliações, e 60% do peso vem de testes com conjuntos privados ou respostas ocultas. A medida protege contra o vazamento desses dados para o treinamento dos modelos. O Claude Opus 5.5 (max) lidera com 58 pontos, mas nenhum modelo vence nos nove testes.

Como o índice foi reestruturado

A v5 traz dois benchmarks novos e três atualizados. Quatro categorias pesam 25% cada. A composição é esta:

• Knowledge Work (25%): AA-Briefcase (15%), AutomationBench-AA (5%) e GDP.pdf (5%).
• Coding (25%): FrontierCode 2.0 (15%) e Terminal-Bench 4.0 (10%).
• Science (25%): Terminal-Bench-Science (15%) e um subconjunto privado do CritPt v2 (10%).
• General (25%): AA-Omniscience v1.1 (15%: 10% de precisão, 5% de ausência de alucinações) e HLE-Diamond (10%).

O FrontierCode 2.0 é um benchmark privado da Cognition, com 132 tarefas em repositórios open source reais. Um resultado só conta se o mantenedor aceitaria a alteração feita pelo agente.

Reprovar em qualquer verificação bloqueante resulta em nota zero. O Terminal-Bench-Science reúne 70 tarefas de pesquisa no terminal, e uma tarefa só é considerada resolvida se todos os testes passarem. O HLE-Diamond substituiu o Humanity's Last Exam: é uma versão depurada, com 1000 perguntas da CAIS e da Scale AI, divididas igualmente entre raciocínio e conhecimento.

O AA-Omniscience v1.1 teve as perguntas saturadas e públicas removidas, ganhou perguntas novas e teve as ambíguas corrigidas. A pontuação média caiu cerca de 2 pontos.

O CritPt v2 é avaliado em um conjunto fechado com as 40 questões mais difíceis, entre 70 de física: as 30 que sete modelos de ponta resolveram em todas as cinco tentativas foram removidas.

GDPval-AA v2.1, SciCode e AA-LCR v1.1 saíram do índice. Permanecem AA-Briefcase, AutomationBench-AA, GDP.pdf e Terminal-Bench 4.0.

Quem lidera e quem ficou para trás

As cinco primeiras posições são de modelos da Anthropic e da OpenAI. O Gemini 4 Argon (high) vem logo atrás, com 50.

• Claude Opus 5.5 (max): 58 no geral. Lidera no FrontierCode 2.0 (46%), no HLE-Diamond (68%) e no AA-Omniscience v1.1 (48). Custa $10.04 por tarefa do índice.
• GPT-6 Astra (max): 57. Melhor no Terminal-Bench-Science (63%) e no CritPt v2 (72% com high effort). $6.24 por tarefa.
• GPT-6.1 Sol (max): 55. $1.27 por tarefa.
• GPT-6.1 Terra (max): o mais barato entre os dez melhores, a $0.96 por tarefa.
• Claude Fable 5.1 (max): o mais caro, a $13.04. Marcou 60% no HLE-Diamond.
• Claude Sonnet 5.5: líder no AA-Briefcase (1812 Elo) e 42% no FrontierCode 2.0.
• Kimi K3.1 Pro: melhor no Terminal-Bench 4.0 (67%) e melhor modelo aberto no geral (46), mas os pesos ainda não foram publicados.
• Gemini 4 Argon: líder no AutomationBench-AA (78%).
• Muse Wonder Full: líder no GDP.pdf (33% all-pass).
• DeepSeek V4.1 Flash 1017 e GLM-5.3 (max): 32 cada, os melhores entre os modelos abertos com pesos publicados. O DeepSeek tem 28% no FrontierCode 2.0 e 13% no Terminal-Bench-Science.
• Claude Haiku 5.5 (max): 36, acima de qualquer modelo com pesos abertos. No Terminal-Bench-Science, marcou 20%.

A distância dos modelos abertos subiu de 3 pontos na v4.3 para 12. Ela é mais visível no HLE-Diamond (Kimi K3.1 Pro com 37% contra 68%) e no Terminal-Bench-Science (34% contra 63%). Considerando apenas pesos publicados, a defasagem é de 26 pontos. A maioria dos modelos abertos ficou abaixo de 10% no Terminal-Bench-Science.

O preço da inteligência e o apetite por tokens

O GPT-6.1 Sol fica apenas 3 pontos atrás do Opus 5.5, com custo por tarefa cerca de oito vezes menor. O modo de esforço agora pesa mais. O Opus 5.5 faz 35 no low e 58 no max, enquanto o custo sobe dez vezes ($0.98 contra $10.04). A variação do Sonnet 5.5 entre os modos aumentou de 20 para 29 pontos, e a do GPT-6.1 Sol, de 10 para 20.

As tarefas ficaram mais pesadas. A mediana de tokens de saída por tarefa subiu dois terços, de 35k para 59k. Os testes agênticos (Terminal-Bench-Science, Terminal-Bench 4.0, AA-Briefcase, FrontierCode 2.0) respondem por 55% do peso, mas por cerca de 90% dos tokens. Só o Terminal-Bench-Science consome aproximadamente um terço.

A empresa lançou separadamente o Progress Index v1. Ele coloca os modelos lançados desde novembro de 2022 em uma única escala contínua, o que permite comparar modelos separados por anos. Para escolher um modelo para as tarefas atuais, o Intelligence Index continua sendo a referência. No desenvolvimento, os autores se basearam no Epoch Capabilities Index e agradeceram à Epoch AI e à Anthropic.

A conclusão prática para as equipes: escolher um modelo pela nota geral já não basta. Para automação de código e ciência, vale olhar o FrontierCode 2.0 e o Terminal-Bench-Science. Para o orçamento, é preciso considerar o custo por tarefa e o modo de esforço. Os modelos abertos por enquanto servem para cenários simples, mas ficam bem atrás em cadeias agênticas longas. Antes de ir para produção, convém rodar as próprias tarefas em diferentes modos de esforço.