CodeActionBench: GPT-6 Astra no Codex CLI alcança 73,3% de sucesso em tarefas com duas mãos

O benchmark CodeActionBench, divulgado pelo Jiqizhixin, faz uma pergunta simples: se um agente sabe analisar uma imagem e escrever código, ele consegue controlar um robô? Na simulação com duas mãos, o melhor resultado entre os citados é do GPT-6 Astra, executado por meio do Codex CLI. O sucesso por tentativa foi de 73,3%. O Claude Opus 5 foi testado no Reference harness, mas o resultado dele se interrompe no trecho disponível da publicação, então ainda não é possível comparar os modelos pelos números.

O que exatamente o benchmark mede

A maioria dos testes para robôs avalia etapas isoladas: reconhecimento de cena, planejamento ou controle de baixo nível. O CodeActionBench reúne toda a cadeia em uma única execução. O agente recebe a observação visual, monta uma política de ações (neste caso, por meio de código), a executa em um ambiente físico e decide por conta própria se a tarefa foi concluída.

O último passo é mais importante do que parece. Um agente que declara sucesso com confiança quando falhou é mais perigoso em uma linha de produção real do que um agente que relata a falha com honestidade. Ao incluir a avaliação de conclusão no ciclo, os autores testam o autocontrole do agente, e não apenas sua motricidade.

A segunda particularidade são as condições uniformes. Agentes de uso geral como o Codex CLI vêm com seu próprio arcabouço: um conjunto de ferramentas, um formato de prompts, regras para trabalhar com arquivos. Se esses parâmetros não forem equalizados, o que se compara não é o modelo, mas a embalagem em volta dele. A menção ao Reference harness na fonte indica que os autores têm um arcabouço de referência para fazer essa equalização.

O que se sabe a partir dos dados publicados

• Benchmark: CodeActionBench, avaliação de agentes multimodais de uso geral em manipulação robótica.
• Ciclo: observação, geração de política, execução física, julgamento de conclusão.
• Ambiente: simulação com duas mãos (bimanual).
• Melhor resultado citado: GPT-6 Astra no Codex CLI, 73,3% de sucesso por tentativa.
• Segundo participante: Claude Opus 5 no Reference harness, sem números no texto disponível.
• Não divulgado: número de tarefas, número de tentativas por tarefa, lista completa de modelos, dispersão dos resultados.

Como interpretar o número 73,3%

A métrica se chama sucesso por tentativa, e isso não é o mesmo que a proporção de tarefas resolvidas. Se o agente tem permissão para fazer várias tentativas, a proporção final de tarefas resolvidas costuma ser maior que o sucesso de uma única tentativa. Quando os autores publicarem a tabela completa, vale observar as duas medidas e também como o agente usa o feedback entre as tentativas.

A simulação oferece reprodutibilidade e execuções baratas, mas não elimina a distância para o mundo real. Atrito, folgas mecânicas, ruído de sensores e garras imperfeitas em manipuladores reais frequentemente quebram políticas que funcionam bem em ambiente virtual. Por isso, os 73,3% mostram o teto de capacidade do agente em condições controladas, e não sua prontidão para o chão de fábrica.

Ainda assim, a abordagem em si merece atenção. Usar código como interface com o robô facilita a verificação: a política pode ser lida, depurada e repetida. Isso é mais transparente do que uma política neural de ponta a ponta, em que é preciso adivinhar a causa do erro.

O que as equipes devem verificar

Equipes que avaliam agentes de uso geral para robótica devem verificar três pontos. Primeiro, aguardar a metodologia completa: número de tarefas, regras de novas tentativas e configuração do arcabouço. Segundo, comparar os modelos no mesmo harness, e não por números divulgados em fontes diferentes. Terceiro, medir separadamente a precisão da autoavaliação de conclusão: com que frequência o agente declara sucesso quando houve falha real. É esse indicador que vai definir se um sistema desse tipo pode ser deixado sem supervisão humana.