BlenderWorld: GPT-6-Astra supera Opus-5 em benchmark de 3D com 79,9 pontos

Os autores do BlenderWorld propuseram avaliar o quanto a cena montada se parece com a solicitada, e não se o modelo multimodal consegue escrever um script para o Blender. O conjunto inclui 223 tarefas, e as respostas são avaliadas por 2 651 rubricas binárias, além de uma nota visual geral. Entre os treze modelos de ponta testados, o melhor resultado consolidado é do GPT-6-Astra: 79,9. O Opus-5 fez 73,0, e o GPT-5.6-Sol, 67,7. A conclusão geral dos autores: os modelos lidam bem com instruções amplas, mas falham de forma clara na consistência espacial de detalhes pequenos e na reprodução precisa da estrutura.

Como o teste funciona

Os modelos multimodais atuam cada vez mais como agentes: escrevem código para um editor 3D ou controlam o programa diretamente. Uma tarefa real raramente se resume a "faça um cubo". Em geral, vem um conjunto de referências: foto de um prédio, vídeo de um produto, esquema com dimensões, descrição da iluminação. A partir delas, é preciso deduzir forma, materiais, disposição dos objetos e luz, sem violar as instruções. Segundo os autores, os benchmarks existentes cobrem pouco esse tipo de pedido aberto.

O BlenderWorld preenche essa lacuna em quatro frentes: arquitetura, produtos, ambientes naturais e visualização científica. As entradas também variam: texto, imagem, vídeo e especificações estruturadas. As tarefas exigem reconstruir um objeto, modificar um existente ou projetar um novo.

A avaliação é a mesma para todos. Os projetos finais do Blender são renderizados em vários ângulos, e o resultado é checado por rubricas escritas para cada tarefa. Isso importa: um único quadro bem-sucedido pode esconder um erro de geometria que só aparece de lado. A nota visual geral é calculada separadamente, e o fused score final combina as duas abordagens.

• Tarefas: 223
• Rubricas binárias: 2 651, cerca de 12 por tarefa
• Modelos na comparação: 13
• Formatos de entrada: texto, imagem, vídeo, especificações estruturadas
• Líderes: GPT-6-Astra — 79,9; Opus-5 — 73,0; GPT-5.6-Sol — 67,7

Onde os modelos falham

A diferença entre o primeiro e o segundo lugar é de 6,9 pontos; entre o segundo e o terceiro, 5,3. Do líder ao terceiro colocado são 12,2 pontos, ou seja, a escolha do modelo influencia bastante o resultado. Mesmo assim, o melhor desempenho fica abaixo de 80, o que significa que uma parte considerável das verificações binárias continua reprovando até para o vencedor.

Os autores apontam a causa de forma objetiva. Os modelos leem a tarefa e identificam os objetos necessários, mas têm mais dificuldade em manter a posição relativa das peças, as proporções e a estrutura. Esses erros são mais difíceis de perceber do que uma cor errada: a parede está no lugar, a janela existe, mas está deslocada, e a escada não chega à laje. As rubricas binárias aplicadas aos vários ângulos servem justamente para isso, porque checam cada detalhe separadamente.

A descrição não traz uma análise detalhada por domínio nem por tipo de entrada, então ainda não é possível dizer o que é mais difícil: vídeo ou especificação. Também não há dados sobre quantas tentativas e quais ferramentas cada agente recebeu. Esses parâmetros costumam pesar bastante nos números e vale conferi-los na versão completa do artigo.

O que as equipes devem fazer

Para estúdios e equipes de produto que pensam em automatizar o 3D, a conclusão é prática. Já é possível usar agentes em cenas preliminares, blocking e variações, em que importam a composição geral e o estilo. A geometria final, as dimensões e as junções ainda precisam ser verificadas por uma pessoa ou por testes automáticos específicos.

Na avaliação interna, vale adotar o esquema do BlenderWorld: renderizar o resultado com várias câmeras e checá-lo por uma lista de critérios binários, em vez de depender da impressão causada por uma prévia. Rubricas como "os pés da mesa estão apoiados no chão" ou "as janelas são simétricas em relação à porta" são baratas de verificar e pegam justamente os erros em que os modelos tropeçam.

Por fim, os números do benchmark mostram potencial para modelos pensados para 3D desde a origem: os próprios autores falam em uma margem considerável para futuros agentes nativos de 3D. Por ora, os resultados servem como referência na escolha de um modelo e como uma lista honesta de pontos fracos a considerar no pipeline.