SLVR no Qwen2.5-VL-7B ganhou 14,2 pontos no BLINK Relation sem CoT textual

Os autores do SLVR mostraram como fazer um modelo multimodal se apoiar na imagem, em vez de adivinhar a resposta a partir do texto da pergunta, sem pagar por isso com uma cadeia de raciocínio longa na saída. Sobre o Qwen2.5-VL-7B, o método rendeu +9,4 ponto no MMVP e +14,2 no BLINK Relation. Também foram registradas melhorias no V*, no MathVista e no ChartQA. Ao responder, o modelo não gera raciocínio em texto.

Quatro estágios latentes em vez de um CoT longo

O problema é conhecido. LLMs multimodais costumam responder a perguntas visuais com base em priors linguísticos, e não no que realmente aparece na imagem. O chain-of-thought em texto resolve parte disso: o modelo divide a pergunta em etapas de busca de evidências. Mas essas etapas são geradas de forma autorregressiva, e o custo de inferência cresce junto com o tamanho da cadeia. O raciocínio latente é mais barato, porque não há texto explícito. Em compensação, não está claro o que os estados intermediários codificam, e não dá para aplicar ali um sinal de treinamento separado para planejamento, ancoragem em uma região ou seleção de evidências.

O SLVR tenta aproveitar o melhor das duas abordagens. O treinamento acontece em duas etapas. Primeiro, o modelo é induzido a olhar para a imagem: trechos do texto que entregam a resposta são mascarados, e a resposta correta é contraposta a distratores visualmente plausíveis. Em seguida, o raciocínio é decomposto em estágios latentes tipados: planejamento, ancoragem (grounding), seleção de evidências visuais e integração. Cada estágio recebe sua própria supervisão: planos, caixas delimitadoras (boxes), evidências visuais e justificativas finais, respectivamente. Assim, os passos latentes ganham uma estrutura funcional, e a inferência não exige gerar uma cadeia de texto.

O que os benchmarks mostraram

Os autores testaram o método em um único modelo base. Resultados divulgados:

• base: Qwen2.5-VL-7B;
• MMVP: +9,4 ponto em valor absoluto;
• BLINK Relation: +14,2 pontos em valor absoluto;
• V*, MathVista, ChartQA: melhorias sem indicação da magnitude no abstract;
• inferência: sem decodificação de CoT textual.

Algumas ressalvas. O abstract não traz valores absolutos nem informa com o que o método foi comparado: o modelo original, um fine-tuning convencional ou uma variante com CoT textual. Isso pesa bastante na interpretação. O MMVP é pequeno, então o ganho nele pode ser ruidoso. Também não há dados sobre a economia real na inferência: o abstract afirma que não há custo adicional de decodificação, mas não apresenta medições de latência nem de tokens. O trabalho ainda é um preprint no arXiv e não passou por verificação independente. A página do projeto foi publicada.

Para quem isso é útil

A ideia interessa sobretudo a equipes que fazem fine-tuning de VLMs abertos para tarefas de análise visual precisa: leitura de gráficos, relações espaciais, busca de objetos pequenos na imagem. Onde o CoT textual custa caro demais em latência, uma abordagem latente estruturada parece uma alternativa razoável.

O preço está nos dados. O treinamento exige planos, caixas, evidências visuais e justificativas, ou seja, uma anotação bem mais rica do que os pares comuns «imagem — resposta». Antes de levar o método para produção, vale estimar quanto dessa anotação dá para obter automaticamente e testar o ganho nos seus próprios dados, e não só em benchmarks públicos. Outra questão é a depuração. Em teoria, estágios tipados são mais fáceis de analisar do que estados ocultos não estruturados, mas o abstract não traz confirmação disso. Vale checar no artigo completo e no código.