Humanoides brilham em demos, mas falham no teste de generalização: a saída está nos dados

Em 2026, os robôs humanoides continuam parecendo melhores em vídeo do que em uma operação real. A The Robot Report atribui isso à falha no teste de generalização: a máquina que funciona de forma impecável em uma cena conhecida se perde quando mudam o objeto, a iluminação ou a formulação da tarefa. A publicação vê a solução em dados de melhor qualidade e no julgamento humano. O texto original é curto e não traz números; por isso, a seguir está uma análise da mecânica do problema com base em dados abertos do setor.

Por que a demo engana

A demonstração acontece em um ambiente fechado. A luz é ajustada, os objetos são conhecidos, a trajetória foi ensaiada muitas vezes e, às vezes, há um teleoperador por trás do robô. A apresentação do Optimus no evento da Tesla em outubro de 2024 ilustra bem isso: segundo a imprensa, parte dos robôs era controlada remotamente. Para coletar dados de treinamento, essa é uma prática normal. Mas um vídeo com teleoperação não pode ser tomado como prova de autonomia.

Uma política de controle treinada em uma distribuição estreita de situações só tem confiança estatística dentro dela. Basta sair desses limites para que a confiança não caia aos poucos, mas despenque de uma vez. O robô pega uma caneca que nunca viu e erra por dois centímetros. Isso basta para o cenário desmoronar.

Do que é feito o teste de generalização

A generalização é testada em vários eixos, e cada um quebra a demo de um jeito:

• novos objetos: outra forma, massa, material, reflexos na superfície;
• nova cena: outra cozinha, galpão ou prateleira, com iluminação e fundo diferentes;
• nova formulação: a mesma tarefa, pedida com outras palavras;
• novo corpo: transferência de uma habilidade entre robôs com cinemática e garras diferentes;
• horizonte longo: acúmulo de erros em uma cadeia de dezenas de etapas.

O último ponto é fácil de calcular. Se o robô executa uma etapa com sucesso em 95% das vezes, uma cadeia de dez etapas termina sem falhas em cerca de 60% dos casos (0,95 elevado à décima potência). Com vinte etapas, sobram cerca de 36%. Por isso, um vídeo de um único episódio não diz nada sobre a confiabilidade ao longo de um turno de trabalho.

A escala dos dados em robótica ainda é incomparável à dos modelos de linguagem. O conjunto aberto Open X-Embodiment reuniu dados de 22 tipos de robôs de 21 instituições, com mais de um milhão de trajetórias. Para a robótica, é um recorde, mas os corpora de internet dos LLMs são ordens de grandeza maiores. Além disso, dados físicos são mais caros: cada episódio exige uma máquina real, um operador e tempo.

Dados e julgamento humano

A tese da The Robot Report é que simplesmente aumentar o volume não resolve o problema. O que importa é quais dados são coletados e quem decide o que conta como sucesso. Na prática, isso se divide em algumas tarefas.

Primeira: a seleção de demonstrações. O operador pode ter executado a tarefa de forma não ideal, com movimentos desnecessários ou por pura sorte. Esses episódios prejudicam o treinamento, e quem deve filtrá-los é uma pessoa que entenda o objetivo.

Segunda: a rotulagem de sucesso e sucesso parcial. O binário "deu certo ou não" esconde o que exatamente deu errado. Uma pessoa distingue um objeto derrubado de um objeto colocado sem cuidado, e, para a segurança na produção, essas são classes de erro diferentes.

Terceira: as correções durante a operação real. Quando o robô trava, o operador intervém, e essa correção se torna o exemplo de treinamento mais valioso, porque mostra o ajuste justamente na situação em que a política é fraca.

Como ler a próxima demo

Para um engenheiro ou investidor, disso decorre um conjunto de perguntas que vale fazer a qualquer apresentação de humanoide:

• O robô funciona de forma totalmente autônoma ou há teleoperação e scripts?
• Quantas execuções seguidas foram mostradas e quantas terminaram em falha?
• Os objetos e o ambiente mudaram em relação ao treinamento?
• Qual é o tamanho da tarefa em etapas e qual é o percentual de sucesso em cada uma?
• Quem rotula os dados e como as demonstrações são selecionadas?

Uma métrica razoável de maturidade aqui não é o número de vídeos impressionantes, mas a proporção de execuções bem-sucedidas em um ambiente novo, sem intervenção humana. Enquanto as empresas não publicarem esses números, a demo continua sendo marketing, não medição.