Qwen3.5-4B resolve 73,8% das tarefas do LIBERO após o RL do CaPtain, contra 0% do modelo-base

O grupo MMLab da Universidade Chinesa de Hong Kong, em parceria com a NovaXBot, publicou o CaPtain, um pipeline aberto de pós-treinamento que transforma um pequeno modelo de visão e linguagem aberto em um agente do tipo code-as-policy. Esse agente olha as imagens das câmeras, escreve código Python sobre APIs de percepção e movimento e lê o relatório do que aconteceu fisicamente. Nessa configuração, o Qwen3.5-4B base não resolve nenhum episódio do LIBERO. Depois de SFT e RL multietapa, o CaPtain-4B resultante chega a 73,8% no conjunto reservado desse benchmark. Os autores publicaram código, dados e pesos.

Por que modelos pequenos ainda não controlavam robôs com código

Modelos de fronteira com um arcabouço de código já se saem bem em manipulação. Segundo o artigo, o GPT-6 Astra resolve 94,0% dos episódios do LIBERO-PRO nesse modo (versão do LIBERO com objetos, disposição e instruções alterados). Mas a abordagem tem um custo: o OpenRUA, por exemplo, obtém 91,8 no LIBERO-PRO ao preço de $8–22 por episódio. Um agente assim não pode ser ajustado para um novo robô nem executado em um computador de bordo.

As alternativas também têm limites. Alguns sistemas delegam a manipulação a um modelo VLA congelado ou a habilidades prontas, como grasp e place. Nesses casos, o código só escolhe qual habilidade chamar, enquanto onde e como agarrar fica por conta da própria habilidade. Nesse esquema, o RL, na melhor das hipóteses, aprende a ordenar a sequência de chamadas.

Harness com 22 primitivas e um crítico com acesso à física

O CaPtain-Harness oferece ao agente apenas funções de baixo nível: 22 primitivas de percepção, medições geométricas e movimentos protegidos (guarded). O SAM 3 fornece máscaras e pontos, e o movimento recebe uma pose explícita do efetuador ou um comando de garra. Não há habilidades prontas nem VLA, então a política escolhe sozinha a direção de aproximação e o momento de fechar a garra. Cada chamada devolve um relatório em texto: poses medidas, força de contato e o motivo da parada do movimento.

Um episódio tem até 60 consultas. O histórico é truncado: o contexto mantém as 12 imagens mais recentes e no máximo 20 linhas de relatório por célula. Na compressão do histórico, as variáveis da sessão Python são preservadas, de modo que poses encontradas e funções auxiliares não se perdem. A mesma lógica vale no treinamento e no teste.

O treinamento tem duas etapas. Primeiro, SFT em trajetórias geradas pelo GPT-6 Astra no mesmo formato multietapa. Depois, RL multietapa.

A principal dificuldade aqui é a atribuição de crédito: o resultado só é conhecido no fim do episódio, e o efeito de uma pegada aparece apenas vários turnos depois. Os autores adicionaram um crítico físico. Ele lê o estado privilegiado do simulador (poses exatas dos objetos, status da garra, progresso dos subobjetivos), que a política não vê.

A cada consulta, o crítico atribui crédito conforme o quanto ela alterou a probabilidade de sucesso prevista. Consultas que apenas observam ou verificam recebem crédito próximo de zero, e o crédito se concentra nas pegadas e no posicionamento dos objetos. No teste, o crítico fica desligado, e a política se apoia apenas nas câmeras e nos relatórios.

Resultados e limites de aplicação

• LIBERO: 0% no modelo-base, 55,4% após o SFT, 73,8% após o RL.
• LIBERO-PRO: 78,5%, acima de vários agentes baseados em modelos de fronteira. O ganho do RL nos três conjuntos de perturbações vai de 17,6 a 21,2 pontos.
• O RL acrescentou 19,4 pontos ao modelo pós-SFT nos quatro conjuntos do LIBERO-PRO. No AgenticRoboRL, em que o RL atua sobre um VLA congelado, o ganho é de 5,9 pontos, embora os pontos de partida dos sistemas sejam diferentes.
• SimplerEnv WidowX: 83,3% sem treino no domínio-alvo.
• CaP-Bench: 75,0 pontos, acima dos modelos de fronteira e de um codificador de 7B treinado com RL nesse benchmark.
• No robô real, o modelo executa tarefas após uma adaptação feita apenas em um gêmeo digital de simulação grosseiro.

Para comparação, os autores citam políticas end-to-end. Uma delas cai de 97% no LIBERO comum para 12.8% no LIBERO-PRO. O pós-treinamento com RL do RIPT-VLA no LIBERO-Plus rende 68,4, contra 69,6 do OpenVLA-OFT base. No CaPtain, melhoraram as sete dimensões de perturbação do LIBERO-Plus.

Os próprios autores apontam as limitações. No RoboTwin 2.0, que exige coordenação de dois braços, o sucesso é de apenas 22,6%. No RoboDojo, com cinemática de braço desconhecida, é de 0,8%. O crítico funciona só em simulação, de modo que o método não serve para tarefas sem um bom modelo de simulação.

A conclusão prática para quem trabalha com robótica: a manipulação por meio de primitivas de baixo nível pode ser ajustada com a mesma receita de SFT mais RL multietapa usada em agentes de código. O resultado é uma política de 4B que custa uma fração do preço dos agentes de fronteira e funciona sem VLA no teste. Para validar em outros robôs, já há pesos e dados abertos.