Artificial Analysis lança AA-3D: Claude Sonnet 5.5 lidera com 1194 Elo

A Artificial Analysis lançou o AA-3D, benchmark que avalia a capacidade de modelos de IA construírem cenas 3D interativas atraentes e funcionais para exploração humana. O Claude Sonnet 5.5 estreou na liderança com 1194 Elo. No entanto, os intervalos de confiança dos quatro primeiros colocados — todos da Anthropic e da OpenAI — se sobrepõem, o que impede apontar um vencedor isolado. O Muse Spark 1.3 da Meta aparece em sétimo com 1035 pontos, enquanto os melhores modelos abertos, Kimi K3 (982) e MiMo-V2.6-Pro (977), ocupam o 11º e o 12º lugares, com uma desvantagem superior a 200 pontos.

Como funciona o teste

Cada modelo atua como um agente em um sandbox offline. Ele recebe um briefing textual para uma cena — como "Dentro de uma mitocôndria", "Coração batendo", "Gato limpando a mesa" ou "Anatomia de um halterofilista" — acompanhado de um contrato de entrega padronizado. O agente tem acesso a Blender, motor de física Rapier, Python, navegador headless e uma biblioteca de assets CC0. Ele escreve código, renderiza a cena, analisa as próprias capturas de tela e aplica correções. O limite estipulado é de três horas ou 250 iterações, gerando no final um único arquivo index.html em three.js.

Em seguida, entra em cena uma votação cega par a par: avaliadores recrutados escolhem a melhor entre duas cenas geradas a partir do mesmo briefing, sem saber a autoria. O resultado final é calculado via sistema Elo. O teste reuniu 21 modelos, 1008 cenas e mais de 10 mil votos.

O que diferencia os vencedores

A principal conclusão é que o método de trabalho importa mais do que o volume bruto de processamento. A quantidade de tokens de saída e o número de turnos não apresentaram correlação com o Elo (Spearman de 0.33 e −0.27, ambos estatisticamente insignificantes). O Claude Sonnet 5.5 gerou 569 mil tokens de saída por cena, enquanto o GPT-6 Sol consumiu apenas 109 mil e garantiu o quinto lugar.

• Inspeção visual precoce. O top 5 analisa a captura de tela da própria cena pela primeira vez entre o 10º e o 13º turno, fazendo isso até o 20º turno em pelo menos 89% dos casos. Já os modelos entre a 14ª e a 20ª posição esperam até o turno 15–40. A correlação entre o momento da primeira inspeção visual e o Elo é de 0.82. O MiniMax-M3 chega a olhar a cena 54 vezes — o recorde do teste —, mas só faz a primeira checagem antes do 20º turno em 7% das tentativas, amargando o 19º lugar.
• Interface rica. Os líderes entregam uma mediana de 15 a 20 botões e controles na página, contra 6 a 8 dos modelos com pior desempenho (Pearson de 0.90).
• Nível de detalhes. O quinto mais detalhado das cenas venceu 63% dos confrontos, contra 31% do grupo menos detalhado. Essa vantagem, contudo, reflete a competência dos modelos mais fortes: isolando um mesmo modelo, o ganho por detalhamento foi de apenas cerca de 1.5 ponto por desvio-padrão.
• O desempenho gráfico não serviu de diferencial: o tempo mediano de renderização de quadro ficou abaixo de 1.3 ms de GPU em todos os modelos.
• Assets CC0 apareceram em três de cada quatro cenas, mas não influenciaram as taxas de vitória quando controlada a força do adversário.

O papel da visão computacional ficou evidente. Modelos sem capacidade de processar imagens, como GLM-5.3 e Nemotron 3 Ultra, precisaram construir as cenas às cegas. O GLM-5.3 ficou 197 pontos abaixo da linha de tendência esperada, enquanto o GLM-5.3-Flash, que enxerga as telas, marcou 149 pontos a mais, mesmo tendo um Intelligence Index inferior. A capacidade intelectual geral explica boa parte da performance: cada ponto do índice adiciona cerca de 18 de Elo (Pearson de 0.92). Ainda assim, os modelos da OpenAI superaram a curva: GPT-6 Luna em 141 pontos, GPT-6 Sol em 93 e GPT-6 Astra em 46.

Custo e velocidade

O custo por cena variou de $0.20 a $32.08. O mais econômico foi o GPT-6 Luna, e o mais caro, o Claude Fable 5.1. O Luna gerou com sucesso todas as 55 cenas propostas e fechou em oitavo lugar. Já o Kimi K3 custou 68 vezes mais por cena para entregar um Elo equivalente. Cerca de 69% dos gastos decorrem dos tokens de entrada, já que o agente reenvia todo o histórico de contexto a cada turno. No pelotão de frente, o mais acessível foi o GPT-6 Sol: $3.46 por cena. O Sonnet 5.5 custou 4.4 vezes mais, e o Fable 5.1, 9.3 vezes.

A cadência de execução também diverge. O GPT-6 Astra entrega a primeira página funcional em 6 minutos e encerra a tarefa aos 68 minutos. O Sonnet 5.5 não exibe nada até os 42 minutos e consome quase o limite total de três horas. Mesmo gerando 6.2 vezes mais tokens que o Astra, o Sonnet custou $14.93 por execução contra $11.62 do concorrente, beneficiado por preços de tabela mais baixos. A execução mediana do GPT-6 Sol levou 60 minutos, enquanto os outros quatro líderes levaram entre 115 e 151 minutos.

Recomendações práticas

Para quem desenvolve agentes focados em interfaces, visualizações interativas ou jogos, o ciclo de feedback visual rápido e frequente do próprio render é o indicador mais consistente de qualidade final. Modelos sem suporte a visão só devem ser adotados com ressalvas claras. Na geração em larga escala com orçamento restrito, GPT-6 Luna e GPT-6 Sol oferecem a melhor relação custo-benefício: entregam qualidade próxima ao topo da tabela custando uma fração do valor.

Para infraestruturas locais, o gap dos modelos abertos ainda é expressivo, cobrando um preço alto em qualidade técnica nas tarefas 3D. Por fim, o empate técnico entre os quatro primeiros colocados indica que a escolha deve se basear em métricas de custo e tempo de inferência, e não na posição isolada do ranking.