FocusVLA ensina o robô a escolher a câmera conforme a etapa da tarefa: +13,3 p.p. em testes reais

Um robô manipulador com várias câmeras precisa enxergar tanto a cena inteira quanto o que acontece junto à garra. Mas, segundo pesquisadores do Technology Center of Software Engineering do ISCAS, os modelos VLA atuais usam esses ângulos de forma muito desequilibrada. O novo sistema deles, o FocusVLA, acrescenta em média 10,10 pontos percentuais de sucesso no RoboTwin 2.0 em relação ao π0.5, o modelo-base mais forte, e eleva o resultado de 71,7% para 85,0% em experimentos reais. O trabalho foi aceito na conferência CoRL 2026.

Uma política que olha só para o pulso

Modelos vision-language-action combinam percepção visual, compreensão de linguagem e geração de ações em uma única política. Para um agarre confiável, é preciso observar o objeto, o efetuador e a posição de um em relação ao outro. Por isso, os robôs recebem várias câmeras de uma vez: uma geral, de visão panorâmica, e uma local, fixada no pulso. A premissa é que as visões se complementam.

Os autores do FocusVLA verificaram se isso se confirma na prática e chegaram a uma resposta incômoda. Os VLAs existentes não aproveitam plenamente a complementaridade das visões. A política se agarra de forma teimosa à câmera do pulso e não muda o equilíbrio entre a visão global e a local ao longo da tarefa. Só que cada etapa da manipulação exige informação diferente. Na aproximação do objeto, o panorama da cena é útil. Pouco antes do contato, os detalhes junto à garra pesam mais. Essa dependência constante de um único ângulo prejudica a adaptação às etapas e a robustez.

Intenção no lugar de um esquema rígido

O FocusVLA é um framework de roteamento de visões stage-aware, ou seja, ciente da etapa da tarefa. O sistema pega o histórico das ações já executadas e, a partir dele, prevê a intenção futura de interação, isto é, o que o robô pretende fazer em seguida. Essa previsão controla o roteamento dinâmico das visões durante a geração das ações. O próprio modelo decide qual ângulo enfatizar em cada momento e alinha as observações globais e locais nas diferentes etapas da tarefa.

Há um detalhe de engenharia importante: o módulo de previsão de intenção e o de roteamento dinâmico podem ser incorporados a frameworks VLA existentes sem alterar a arquitetura básica deles. Isso se aproxima mais de um plugin do que de um modelo novo construído do zero.

O que as medições mostraram

Os números do trabalho:

• RoboTwin 2.0: sucesso médio 10,10 p.p. acima do baseline mais forte, o π0.5 • Experimentos reais: o sucesso subiu de 71,7% para 85,0% • Diferença para o π0.5 nos testes reais: 13,3 p.p. • Aceitação: CoRL 2026 • Autores: Huixin Xu, Ziya Yu, Peng Li • Organização: Technology Center of Software Engineering do ISCAS • Preprint: arXiv 2610.31423

O ganho no robô real é maior do que na simulação. Em uma área em que a distância entre o benchmark e o mundo físico costuma ser um ponto sensível, esse é um sinal importante. Ainda assim, vale lembrar que o modelo-base escolhido foi o π0.5, um dos modelos VLA abertos mais conhecidos, e é justamente sobre ele que o FocusVLA se sai melhor. A comparação com outras políticas e o detalhamento por tarefa ficam como questão a verificar no texto completo do artigo.

Onde isso pode ser útil na prática

A observação dos autores serve para qualquer equipe que treine políticas de manipulação com várias câmeras. Se o modelo ignora sistematicamente a visão geral, adicionar uma segunda ou terceira câmera encarece a bancada e aumenta o volume de dados, mas quase não traz benefício. Uma checagem simples de qual visão a política usa em cada etapa mostra se o seu sistema sofre do mesmo problema.

A segunda conclusão prática diz respeito à compatibilidade. Como os módulos se incorporam a VLAs existentes sem mexer no núcleo, é possível testá-los em uma arquitetura já treinada, sem reconstruir todo o pipeline. Para a indústria de robôs de armazém e de montagem, em que a estabilidade em operações longas e de várias etapas vale mais do que recordes em demos isoladas, essa lógica parece funcional.

Por ora, a página do artigo não lista modelos, datasets ou demos associados, de modo que a verificação independente dos resultados depende de os autores publicarem o código. Mesmo assim, a ideia de que a intenção do robô define para onde ele deve olhar parece o próximo passo natural para VLAs com entradas multicâmera.