Melhor agente de código controla um robô em 77% das tarefas, mas só em 30% quando tem apenas sensores
Agentes de código como o Codex escrevem código com segurança quando é possível inspecionar qualquer variável e reiniciar o processo. Com um robô, porém, não dá para desfazer a queda de uma peça. O benchmark Embodied First Exam (EFE) apresentou a esses agentes 1156 tarefas em 47 robôs simulados. O melhor deles, o GPT-6 Astra no Codex CLI, resolveu 77% das tarefas difíceis com acesso ao estado do simulador e reinicializações ilimitadas, mas apenas 30% com somente sensores e um número limitado de reinicializações. A conclusão: é preciso uma camada de execução (harness) com recuperação segura.
Processado por IA de TG: @gonzo_ML (gonzo-обзоры ML статей); editado por Hamidun News
Agentes de código como o Codex ou o Claude Code escrevem e corrigem programas com segurança, e é natural querer confiar a eles o controle de um robô físico. Só que, em um programa, o desenvolvedor pode inspecionar qualquer variável e, se algo quebrar, basta reiniciar o processo. Com um robô, uma peça que caiu não volta atrás, e ele enxerga apenas o que os próprios sensores mostram.
O novo benchmark Embodied First Exam (EFE) mediu o custo dessa diferença: o melhor agente testado, o GPT-6 Astra no Codex CLI, da OpenAI, resolve 77% das tarefas difíceis quando tem acesso ao estado completo do simulador e a reinicializações ilimitadas, e apenas 30% das mesmas tarefas quando restam só os sensores de bordo e um número limitado de reinicializações. A queda é de 47 pontos percentuais.
O que foi testado
O EFE é um benchmark em contêineres, com 1156 tarefas em 47 robôs simulados. Os agentes são usados como estão, sem ajustes específicos para robótica, e têm três caminhos: enviar comandos diretamente ao robô, escrever um controlador para ele ou treinar uma política de controle. As mesmas tarefas difíceis foram comparadas em dois modos: o "modo desenvolvedor" e o "modo robô real".
O trabalho foi conduzido por uma equipe grande, liderada por Manling Li; entre os coautores estão Fei-Fei Li, Pieter Abbeel, Eric Xing e Dawn Song. O código do benchmark está publicado no GitHub, então qualquer pessoa pode rodar o próprio agente nele.
Onde o agente falha
Imagine que você precisa encaixar um plugue em uma tomada. No modo desenvolvedor, você tem uma câmera no alto, as coordenadas exatas de todos os objetos e um botão de "desfazer" sem limites. No modo robô real, você enxerga apenas pelos "olhos" do próprio braço e tem poucas tentativas, porque, depois de uma falha, algo pode ter caído ou saído do lugar. É assim que o EFE diferencia os dois modos.
No primeiro modo, o GPT-6 Astra resolve 77% das tarefas difíceis pareadas. No segundo, 30%. Os autores atribuem a diferença principalmente às etapas que exigem contato preciso: para encontrar a força e a posição corretas, são necessárias várias tentativas e erros. Quando as tentativas são poucas e o erro é irreversível, o agente não consegue seguir seu ciclo habitual de "escrever, executar, corrigir", como faz com código.
A ideia central é que, no desenvolvimento de software, privilégios comuns (visão completa do estado e reinicializações baratas) fazem parte, de forma implícita, do modo como os agentes trabalham. O mundo físico retira esses privilégios.
O que fazer na prática
O autor da análise no canal gonzo_ML considera os harnesses (camadas de execução) para robôs físicos um dos próximos grandes temas. A conclusão do EFE realmente aponta nessa direção: um modelo forte, sozinho, não basta. É preciso uma camada que decida quais ações são seguras, verifique o resultado pelos sensores e devolva o sistema a um estado funcional depois de uma falha.
Para equipes que constroem robôs com base em agentes de LLM, daí decorrem algumas regras simples:
- não avalie o agente apenas em simulação com estado completo: essa métrica superestima bastante as chances reais (77% contra 30% no EFE);
- planeje recuperação segura e rollback, em vez de contar com a reinicialização;
- teste separadamente as etapas de contato preciso: é nelas que o índice de sucesso mais cai;
- trate o número de tentativas disponíveis como parte das condições da tarefa: quanto menos reinicializações, pior o resultado.
Limitações
Os autores ressalvam que todas as avaliações do benchmark vêm de tentativas únicas e apenas de simulação. A variação entre execuções continua desconhecida, e a transferência para braços robóticos reais traz dificuldades próprias: atrito, ruído de sensores, desgaste de peças. Por isso, os 30% não são uma previsão para um robô de verdade, e sim uma referência de quanto o modo "só sensores e reinicializações limitadas" prejudica um agente que se sai muito bem no modo desenvolvedor.
A lição prática para gerentes de produto e fundadores: se você promete um "agente que controla hardware", teste-o em condições o mais próximas possível das de operação real. A diferença de 47 pontos percentuais entre uma simulação confortável e sensores sem atalhos é a zona em que hoje se decide se um produto desse tipo vai funcionar.
- 18 de nov. de 2026AWS integra o Dynamo ao HyperPod: Qwen3-235B entrega 207 tokens/s por GPU, em vez de 101
- 18 de nov. de 2026Novo modelo Jev responde em 150 ms, contra 1,89 s do GPT-6 Astra
- 18 de nov. de 2026Jensen Huang deixa o cargo de CEO da NVIDIA, e a empresa perde mais de US$1 trilhão em valor de mercado
- 18 de nov. de 2026Moonshot AI muda o foco do Kimi de código para ciência: análise de genes em 90 minutos, e não em 4 horas
Perguntas frequentes sobre a notícia
O que foi testado?
O EFE é um benchmark em contêineres, com 1156 tarefas em 47 robôs simulados. Os agentes são usados como estão, sem ajustes específicos para robótica, e têm três caminhos: enviar comandos diretamente ao robô, escrever um controlador para ele ou treinar uma política de controle. As mesmas tarefas difíceis foram comparadas em dois modos: o "modo desenvolvedor" e o "modo robô real".
Onde o agente falha?
Imagine que você precisa encaixar um plugue em uma tomada. No modo desenvolvedor, você tem uma câmera no alto, as coordenadas exatas de todos os objetos e um botão de "desfazer" sem limites. No modo robô real, você enxerga apenas pelos "olhos" do próprio braço e tem poucas tentativas, porque, depois de uma falha, algo pode ter caído ou saído do lugar. É assim que o EFE diferencia os dois modos. No primeiro modo, o GPT-6 Astra resolve 77% das tarefas difíceis pareadas. No segundo, 30%.
O que fazer na prática?
O autor da análise no canal gonzo_ML considera os harnesses (camadas de execução) para robôs físicos um dos próximos grandes temas. A conclusão do EFE realmente aponta nessa direção: um modelo forte, sozinho, não basta. É preciso uma camada que decida quais ações são seguras, verifique o resultado pelos sensores e devolva o sistema a um estado funcional depois de uma falha.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.