SPLIT-RL ensina VLMs a ver e raciocinar separadamente: +1,4–6,1 p.p. sobre o GRPO

Os autores do preprint arXiv:2610.10889 propõem o SPLIT-RL, um esquema de pós-treinamento em que o modelo visão-linguagem aprende primeiro a extrair corretamente as informações da imagem e só depois a deduzir a resposta a partir delas. A acurácia média subiu de 1,4 a 6,1 pontos em relação ao GRPO padrão. As medições foram feitas em modelos Qwen3-VL de 2B a 30B-A3B e no InternVL3.5-8B. Na inferência, nada muda: há uma única chamada de chain-of-thought, como em um modelo GRPO comum.

Uma recompensa para duas habilidades

O raciocínio visão-linguagem (VL) tem duas partes: a visual (VR), em que o modelo extrai da imagem os detalhes necessários e precisos, e a linguística (LR), em que a resposta é construída a partir desses detalhes. O aprendizado por reforço com recompensas verificáveis (RLVR) costuma passar as duas partes por uma única cadeia de raciocínio, com recompensa apenas pela resposta final. Cada token do CoT recebe o mesmo advantage, calculado no nível da sequência. Se o modelo leu errado um valor em um gráfico, mas a lógica está impecável, os passos corretos também são penalizados. Se a percepção estava certa, mas a dedução falhou, a penalidade também atinge a percepção. O sinal não mostra qual habilidade falhou de fato.

Duas fases e advantage no nível das afirmações

O SPLIT-RL divide o treinamento em fases que não se sobrepõem: uma só para VR, outra só para LR, cada uma com sua recompensa. A lógica se apoia no funcionamento do GRPO, em que os rollouts de um grupo são comparados entre si. Se, dentro de uma fase, os rollouts diferem apenas em uma habilidade, o group-relative advantage isola justamente essa habilidade. O resumo do artigo não traz as fórmulas concretas das recompensas.

Para a fase de percepção, os autores adicionaram o Claim-Level Advantage (CLA-GRPO). Os rollouts são decompostos em afirmações visuais atômicas, como «na imagem há três objetos vermelhos», e o advantage é calculado separadamente para cada afirmação. Os grupos são formados pelo tipo visual da afirmação. Em vez de um único escalar para o texto inteiro, o modelo recebe um sinal detalhado sobre o que exatamente viu de forma correta ou incorreta.

Principais parâmetros do trabalho:

• Método: pós-treinamento em duas fases (VR e depois LR), com uma recompensa para cada fase.
• Novo algoritmo para a fase VR: CLA-GRPO, com advantage no nível das afirmações visuais.
• Ganho: +1,4–6,1 pontos de acurácia média em relação ao GRPO.
• Modelos: Qwen3-VL (2B–30B-A3B) e InternVL3.5-8B.
• Inferência: uma única chamada de CoT, com arquitetura e protocolo de avaliação iguais aos de um modelo GRPO.

Diagnóstico: a percepção não se move no GRPO

O ponto mais interessante do artigo não é o ganho final, mas o diagnóstico. Os autores avaliaram cada habilidade separadamente, usando uma abordagem oracle. A conclusão: o GRPO com recompensa apenas pela resposta deixa a percepção inalterada, enquanto o SPLIT-RL melhora tanto a VR quanto a LR. Ou seja, uma parte considerável do «progresso de raciocínio» no RLVR padrão se deve, na prática, à parte linguística, enquanto a visual permanece no nível do modelo base.

As limitações também são visíveis. A diferença de 4,7 pontos entre o menor e o maior ganho indica forte dependência do modelo, e pelo resumo não dá para saber onde o efeito é máximo. O treinamento fica mais complexo: exige duas fases e um mecanismo para decompor as respostas em afirmações visuais verificáveis. O custo disso não é estimado no resumo.

O que levar para a prática

Equipes que fazem fine-tuning de VLMs com RLVR devem incluir no pipeline uma avaliação separada de percepção e raciocínio, antes e depois do treinamento. Se a acurácia nos benchmarks sobe, mas a percepção fica parada, o modelo provavelmente apenas deduz melhor a resposta a partir da mesma leitura imprecisa da imagem. Isso é especialmente importante em tarefas com documentos, diagramas e tabelas, em que um erro na leitura de um número invalida qualquer lógica. Os custos adicionais do SPLIT-RL recaem apenas sobre a etapa de treinamento, e o serving continua o mesmo. Antes de adotar o método, convém esperar as tabelas completas de benchmarks e o código, e depois testá-lo com dados próprios.