PAIR conecta visão e ação em modelos VLA: sucesso do OpenVLA-OFT sobe de 51,4% para 65%

A equipe por trás do PAIR propôs uma forma de tornar explícito um passo que a maioria dos modelos VLA com ações contínuas pula: a passagem da representação da cena e da instrução para uma representação a partir da qual é possível gerar movimentos. No benchmark LIBERO-Plus, o sucesso do VLA-Adapter subiu de 59,1% para 64,2%; no CALVIN, o comprimento médio da cadeia de tarefas concluídas aumentou de 4,42 para 4,53. Em sete tarefas reais, o OpenVLA-OFT ganhou 13,6 pontos percentuais: de 51,4% para 65,0%.

O problema que o trabalho ataca é conhecido de quem acompanha a robótica baseada em modelos grandes. O VLA recebe uma imagem e um comando de texto e precisa entregar ações contínuas: a trajetória do manipulador, a posição da garra. O backbone visual-linguístico descreve bem o que está sobre a mesa e o que a pessoa pede. Mas características boas para descrever não são necessariamente boas para controlar. Em muitas arquiteturas, essa ponte fica implícita e só é aprendida por meio do erro final de predição das ações.

Como o PAIR funciona

Os autores introduzem uma representação intermediária comum entre percepção e ação. No treinamento, um Masked Action Autoencoder codifica chunks de ações de especialistas em Action Latent Tokens, alinhados ao horizonte de planejamento. Em paralelo, um Bridge Module extrai das representações visuais-linguísticas atuais as características relevantes para a tarefa. Em seguida, o PAIR alinha essas características aos tokens latentes de ação. O resultado são os Bridge Tokens: eles preservam a informação da tarefa e, ao mesmo tempo, refletem a estrutura dos movimentos dos especialistas.

Depois, os Bridge Tokens são projetados no espaço dos tokens de ação e misturados aos Action Tokens iniciais. O Action Expert, responsável por refinar as ações, deixa de partir do zero e começa com um rascunho próximo da trajetória desejada. Na inferência, o autoencoder é removido: os Bridge Tokens são construídos apenas a partir da observação atual e da instrução. Não são necessários rótulos adicionais nem ações de especialistas durante a operação.

• Modelos base nos experimentos: OpenVLA-OFT e VLA-Adapter.
• Benchmarks: LIBERO, LIBERO-Plus, CALVIN ABC-D.
• LIBERO-Plus, VLA-Adapter: 59,1% → 64,2% (+5,1 p.p.).
• CALVIN, VLA-Adapter: comprimento médio da cadeia 4,42 → 4,53.
• Sete tarefas reais, OpenVLA-OFT: 51,4% → 65,0% (+13,6 p.p.).

O que os experimentos mostraram

Os ganhos em simulador são modestos. No CALVIN, o aumento é de 0,11 passo no comprimento médio da cadeia, cerca de 2,5% em relação à base. No LIBERO-Plus, o avanço é mais visível: 5,1 pontos, aproximadamente 8,6% em termos relativos. As tarefas reais trazem o efeito mais forte, cerca de 26% em relação aos 51,4% iniciais. Mas a amostra é pequena: sete tarefas e uma única modelo nesse teste, então ainda é cedo para afirmar com segurança que o resultado se transfere para outras plataformas e condições.

Separadamente, os autores analisaram as representações. Segundo eles, os Bridge Tokens preservam a informação da tarefa e tornam a informação sobre ações contínuas acessível antes mesmo da etapa de refinamento no Action Expert. Isso confirma indiretamente a ideia: uma camada intermediária entre percepção e ação é útil como interface explícita, e não como subproduto do treinamento. O trabalho foi publicado no Hugging Face Daily Papers, e ainda não há reproduções independentes.

O que fazer com isso na prática

A abordagem parece uma camada adicional, e não uma arquitetura nova do zero. A validação em dois modelos VLA base diferentes indica que o PAIR pode ser incorporado a modelos existentes que tenham um Action Expert. Como o autoencoder é usado apenas no treinamento, o custo de inferência, pelo que a descrição indica, quase não aumenta: entra apenas a geração dos Bridge Tokens a partir da observação atual.

Equipes que fazem fine-tuning do OpenVLA-OFT ou do VLA-Adapter em tarefas próprias têm motivo para testar a ideia com seus dados. O ideal é começar por cenários reais, onde a diferença entre simulação e hardware é mais sentida. A principal pergunta para os próximos trabalhos: o ganho se mantém em horizontes mais longos, com a troca de manipulador e em tarefas fora da distribuição de treinamento?