AA-Robotics v0.1: GPT-6 Astra controla braço robótico e faz 69 pontos de 100

A Artificial Analysis lançou o AA-Robotics v0.1, uma prévia de pesquisa de um benchmark que avalia como os modelos de linguagem de ponta entendem uma cena física, planejam e agem. Cada modelo recebe um braço de seis eixos (cinco juntas e uma garra) e um objetivo simples. O GPT-6 Astra lidera com 69,4 pontos de 100. Na sequência vêm GPT-6.1 Sol (64,6), Gemini 4 Argon (55,3), Claude Opus 5.5 (48,8) e Claude Fable 5.1 (46,3). Mas, para uma tarefa média, o Astra leva 30 minutos e gasta $16,36, enquanto um humano resolve em 20 segundos.

Como o teste funciona

Os modelos trabalham em um contêiner isolado, com uma instrução curta. Eles são informados de como acessar o braço por uma API HTTP simples, de que se trata de um Hiwonder NexArm (sem especificações adicionais) e de como enviar a tentativa. A cena é vista por quatro câmeras: três ficam ao redor da mesa e uma está presa ao pulso do braço.

O próprio modelo escreve o código de planejamento e de envio dos movimentos. Todas as tentativas são zero-shot, e o estado final é avaliado por uma pessoa: a execução completa vale 100 pontos, e a parcial rende pontos pelo progresso. Os modelos GPT rodaram no Codex, os Claude no Claude Code e o Gemini 4 Argon no Antigravity, sempre com nível alto de reasoning effort.

Na v0.1, são oito tarefas de bancada:

• apertar um botão vermelho;
• colocar um crocodilo de brinquedo dentro de um retângulo;
• servir uma bebida de uma garrafa em um copo;
• guardar quatro blocos em uma caixa e fechar a tampa;
• montar figuras a partir de uma imagem;
• escrever hello world com um marcador dentro de uma moldura;
• construir a torre mais alta possível com blocos de espuma;
• medir comprimento, largura e altura de uma caixa com precisão de 2 mm.

Os cinco modelos fizeram 100 pontos nas tarefas do botão e do crocodilo. Ninguém conseguiu medir a caixa: o máximo foi 17 pontos, com Sol e Opus 5.5, e os demais ficaram com zero.

Tempo, dinheiro e erros estranhos

Quatro dos cinco modelos levam cerca de 30 minutos por tarefa. O Gemini 4 Argon é o mais lento: 52 minutos, dos quais, em média, 21 minutos vão para observação e raciocínio antes da primeira ação. A variação entre tarefas é enorme. Na tarefa do crocodilo, o GPT-6.1 Sol declarou a conclusão em cinco minutos, enquanto o Claude Opus 5.5 gastou 45, ou seja, nove vezes mais. A tentativa mais rápida entre as melhores é do Astra: ele apertou o botão em 2,2 minutos.

Em dinheiro, a distância para o humano é menor. O modelo mais econômico, o Sol, custa $1,93 por tarefa. Para um humano com salário médio de $37,81 por hora, a mesma tarefa sairia cerca de dez vezes mais barata, mas, em tempo, a diferença chega a quase cem vezes. O Astra custa mais de oito vezes o preço do Sol, com vantagem de apenas quatro pontos (69 contra 65). Cerca de 70% dos gastos vão para o contexto de entrada: os modelos precisam processar muitas imagens.

A principal fraqueza é a avaliação do próprio resultado. O Sol montou uma torre aceitável em cerca de 17 minutos, mas continuou agindo e acabou falhando na tarefa. Outro modelo levou o crocodilo até a posição correta no minuto 23, depois passou 22 minutos movendo o brinquedo e o derrubou da borda três vezes. Na tarefa da tampa, um modelo declarou que ela estava plana, embora estivesse apoiada em uma cunha sobre um cubo. Também há erros de física: o braço esbarra na torre com o antebraço, arrasta o crocodilo pela cauda, e o jato ao servir a bebida desloca o copo em quatro centímetros.

Como ler os resultados

O indicador mais honesto de precisão é a taxa de agarres bem-sucedidos. No GPT-6 Astra ela fica em torno de 45% (n = 95); no Claude Fable 5.1, em 44%; no Opus 5.5, em 40%; no Gemini 4 Argon, em 36%; e no GPT-6.1 Sol, em 28%. Os melhores modelos erram o alvo ou deixam o objeto cair em mais da metade das tentativas.

A conclusão prática para quem desenvolve agentes de robótica: LLMs combinados com um agente de código já conseguem controlar um manipulador em tarefas simples, mas não servem como controlador autônomo em produção. São lentos e caros demais, e seu critério de parada não é confiável. O mais sensato é usá-los como planejadores e colocar ao lado uma verificação independente do resultado. Os autores esperam progresso rápido, e vale acompanhar como mudarão a taxa de agarres bem-sucedidos e o tempo até a primeira ação.