MMVistaReason: receita aberta de treinamento de um modelo de 4B supera o Qwen3.5-9B em 15 benchmarks

Modelos multimodais abertos de raciocínio costumam ser treinados com grandes volumes de trajetórias anotadas, mas a qualidade final oscila: os dados são heterogêneos, a distribuição de dificuldade é desequilibrada e os domínios interferem uns nos outros. Os autores do MMVistaReason (MVR) propõem uma receita completa de pós-treinamento com dados abertos e mostram o resultado em números. O MVR-4B alcança média de 72,8 pontos em 15 benchmarks multimodais e supera o Qwen3.5-9B (Instruct) e o MMFineReason-8B. Para isso, precisou de cerca de 70% menos amostras de treinamento que o MMFineReason. A versão de 9B eleva a média para 74,4 e fica à frente do Qwen3.5-35B-A3B (Instruct).

Três camadas da receita: cobertura, dados e especialização

A primeira camada trata da cobertura de habilidades. Os autores dividem as capacidades em dois grupos complementares, Analytical e Real-World. A ênfase está no raciocínio estrutural, e não apenas na percepção visual e na ancoragem espacial (spatial grounding).

A segunda camada é a construção dos dados. Datasets abertos heterogêneos são convertidos para um formato único, por meio de limpeza e anotação em etapas. No SFT, os autores aplicam destilação em cascata a partir de professores, levando em conta a dificuldade das tarefas. Entre as trajetórias geradas, são escolhidas aquelas com maior verossimilhança da resposta correta (answer-likelihood). Desse processo saiu o corpus MVR-SFT-528K. Para o RL, foi montado separadamente o conjunto MVR-RL-63K, filtrado pela "fronteira" de capacidade de cada escala de modelo: as tarefas não podem ser nem fáceis demais nem claramente impossíveis.

A terceira camada se chama specialize-then-integrate. Primeiro, são treinados especialistas de RL complementares, cada um em sua área. Depois, as habilidades deles são reunidas em um único modelo por meio de multi-teacher on-policy distillation (MOPD).

Modelos pequenos precisam de seleção; os grandes aguentam sem

O ponto mais interessante do artigo é a análise da dependência em relação à capacidade do modelo. A dificuldade dos exemplos, a qualidade das trajetórias e o tamanho do modelo aluno (student) influenciam uns aos outros. Modelos pequenos ganham muito com uma supervisão cuidadosamente selecionada. Os grandes são mais robustos: toleram a variação na qualidade das trajetórias e a interferência de domínios misturados.

O RL com domínios misturados causa transferência negativa no nível de benchmarks individuais: o ganho em um lugar é pago com queda em outro. Já o MOPD integra as habilidades de forma estável. Além disso, a direção preferível da divergência KL na destilação muda conforme a escala do modelo, então não existe uma configuração universal.

O que foi comparado e o que se obteve

• MVR-4B: média de 72,8 em 15 benchmarks multimodais • MVR-9B: média de 74,4 nos mesmos 15 benchmarks • Qwen3.5-9B (Instruct): fica atrás do MVR-4B • MMFineReason-8B: fica atrás do MVR-4B e usa cerca de 70% mais amostras do que o MVR precisa • Qwen3.5-35B-A3B (Instruct): fica atrás do MVR-9B • MVR-SFT-528K: corpus da etapa supervisionada • MVR-RL-63K: corpus da etapa de RL, com filtragem pela fronteira de capacidade • MOPD: método de fusão de especialistas de RL por destilação on-policy com múltiplos professores

A comparação com o Qwen3.5-35B-A3B pede cautela: trata-se de um modelo MoE com poucos parâmetros ativos, e o confronto é feito com a versão Instruct. Ainda assim, um modelo denso de 9B treinado com dados abertos supera um modelo bem maior em número total de parâmetros. É isso que os autores afirmam.

O que levar para o seu pipeline

Para equipes que fazem fine-tuning de VLMs abertos, o artigo permite extrair algumas regras práticas. Se o modelo é pequeno, invista na seleção de trajetórias e na calibração de dificuldade: é aí que o retorno é maior. Se o modelo é grande, dá para economizar na limpeza, mas não na separação de domínios no RL.

Misturar todos os domínios em uma única execução de RL é arriscado. É mais seguro treinar especialistas restritos e combiná-los por destilação, ajustando a direção da KL ao tamanho do modelo. Vale filtrar as tarefas de RL para a escala específica: um conjunto bom para o 9B pode ser inútil para o 4B.

O código do projeto está publicado no GitHub, no repositório JackieForest/MMVistaReason. O artigo saiu em 22 de outubro de 2026, e seus autores são Juekai Lin, Honglin Lin, Yuqian Yuan, Xiaolong Wu, Jie Cao, Liang Liang, Yunqi Cao, Yun Zhu, Wenqiao Zhang e Lijun Wu. O trabalho entrou no Hugging Face Daily Papers, onde por enquanto tem três upvotes, então ainda será preciso esperar por verificações independentes dos resultados.