RoboCasa-Shift: benchmark mostra onde os robôs VLA falham na cozinha

Uma mesma queda na taxa média de sucesso pode significar defeitos completamente diferentes no robô. Essa é a conclusão da equipe do RoboCasa-Shift, um benchmark de diagnóstico para políticas VLA (vision-language-action) construído sobre o simulador RoboCasa365. Os autores rodaram o GR00T N1.5 em quatro tarefas longas de cozinha, com quatro fatores de perturbação e três níveis calibrados de severidade. O resultado foram 1 040 execuções válidas, incluindo condições em que a política falhava totalmente na tarefa.

Um exemplo mostra por que isso importa. O deslocamento de câmera de nível L2 e o desfoque gaussiano de nível L1 causam a mesma queda de sucesso, ΔSR=0,188. Pela métrica agregada, são gêmeos. Mas a análise por etapas mostra que, no primeiro estágio da tarefa, a política falha em 19,0% dos casos com o deslocamento de câmera e em 36,4% com o desfoque. O número final é um só, mas as trajetórias de falha são diferentes.

Execuções pareadas em vez de comparação de médias

Normalmente, a robustez de VLAs é avaliada assim: toma-se uma execução limpa, outra perturbada e compara-se a taxa média de sucesso. O problema é que os dois conjuntos de episódios diferem não só pelo deslocamento estudado, mas também por condições iniciais aleatórias. O RoboCasa-Shift é mais rigoroso. Cada par de execuções usa as mesmas configurações-base de cena e difere apenas pela perturbação investigada. Além disso, os deslocamentos são isolados: muda exatamente um fator, então não é preciso adivinhar a causa da degradação.

Esse desenho revela um efeito invisível na média. Uma das condições de câmera deu ΔSR=0, ou seja, formalmente nada mudou. Mas, em 8 de 80 episódios pareados, o resultado mudou. Algumas tarefas que o robô antes cumpria passaram a falhar, enquanto outras, ao contrário, foram concluídas de forma inesperada. A média simplesmente somou ganhos e perdas. Para o deploy, um delta zero desse tipo é perigoso: cria a sensação de robustez onde o comportamento da política é, na prática, instável.

Profundidade da falha como métrica própria

O terceiro elemento do benchmark é o diagnóstico por etapas, vinculado ao estado do simulador. Uma tarefa doméstica longa é composta por etapas sequenciais, e os autores observam até qual delas a política chega. Isso gera um perfil de profundidade de execução: o robô pode tropeçar logo na pegada ou chegar quase ao fim e perder o resultado no passo final. Para o engenheiro, são bugs fundamentalmente diferentes, com correções diferentes. O primeiro costuma apontar problemas de percepção; o segundo, acúmulo de erros ao longo da tarefa.

Outra observação: aumentar a severidade da perturbação nem sempre leva a uma piora monotônica. Um deslocamento mais forte pode ser mais inofensivo para a política do que um mais fraco. Daí se conclui que uma única curva de "intensidade da perturbação × qualidade" não basta para VLAs.

Parâmetros do estudo

• Benchmark: RoboCasa-Shift, baseado no RoboCasa365
• Política avaliada: GR00T N1.5
• Tarefas: quatro cenários domésticos longos que passaram um limiar de qualidade predefinido em condições limpas
• Fatores de perturbação: quatro, cada um com três níveis calibrados de severidade
• Volume: 1 040 execuções válidas
• Métricas: queda de sucesso (ΔSR), sensibilidade dos resultados em episódios pareados, proporção de falhas em cada etapa
• Código: aberto no GitHub, repositório HaochengWang23/RoboCasa-Shift

Como mudar o processo de teste de robôs

Para equipes que fazem fine-tuning ou implantam VLAs, a conclusão é prática. Um único percentual de sucesso no final é pouco: são necessárias pelo menos três camadas de relatório — a degradação total, o número de episódios em que o resultado mudou com delta médio zero e a distribuição das falhas por etapa da tarefa. A primeira camada responde "quão ruim é"; a segunda, "quão instável é"; a terceira, "onde consertar".

O critério de seleção das tarefas também importa. Os autores incluem na análise apenas as tarefas que a política resolve com confiança sem perturbações. Caso contrário, é impossível distinguir a fragilidade do modelo do fato de ele já não dar conta da tarefa em ambiente limpo. Vale adotar essa prática também na comparação entre modelos diferentes.

As limitações também são claras: foram avaliadas uma única política e quatro tarefas, e em simulação. Como esses perfis de falha se transferem para cozinhas reais e outros VLAs, só trabalhos futuros vão mostrar. Mas a comunidade ganhou uma ferramenta aberta que permite fazer essas perguntas em condições idênticas. Para a robótica, onde o preço do erro é louça quebrada ou uma linha parada, é um passo relevante dos rankings para o diagnóstico.