Qwen3-1.7B treinado com vídeo bruto e sem legendas: +5,1 pontos em imagens

No preprint arXiv 2610.11019, os pesquisadores pegaram o Qwen3-1.7B, passaram o modelo por uma etapa de mid-training com vídeo bruto do YT-Temporal-1B e, em seguida, o ajustaram da mesma forma com pares «imagem-texto». O modelo que passou pela etapa de vídeo obteve, em média, 2,9 pontos a mais em quatro benchmarks de vídeo e 5,1 pontos a mais em dez benchmarks de imagem. As habilidades de texto não caíram: 48,9 contra 48,0 em 14 testes. Nessa etapa, não houve legendas nem loss de texto.

Como o experimento foi montado

LLMs multimodais costumam aprender com pares «imagem-texto» ou com vídeo anotado. Vídeo bruto da web quase não é usado para ajustar um modelo de linguagem já pronto. Os autores quiseram verificar se isso pode mudar.

Os quadros são codificados em tokens visuais contínuos, e o modelo de linguagem aprende a prever o próximo token visual. É o mesmo princípio da previsão do próximo token (next-token prediction), mas com quadros no lugar de palavras. Nessa etapa não há nenhuma parte textual.

O controle foi bem feito. O modelo que passou pelo mid-training com vídeo e o modelo que não passou receberam exatamente o mesmo instruction tuning de imagem-texto. A única diferença entre eles é a etapa intermediária com vídeo. Por isso, o ganho pode ser atribuído a ela, e não a diferenças no ajuste final.

O que os números mostram

Principais resultados em comparação com o modelo sem mid-training:

• benchmarks de vídeo: +2,9 pontos na média de quatro testes;
• benchmarks de imagem: +5,1 pontos na média de dez, incluindo tarefas de percepção, documentos e gráficos;
• benchmarks de texto: 48,9 contra 48,0 na média de 14 testes;
• base: Qwen3-1.7B; dados: clipes do YT-Temporal-1B.

O ganho em imagens ficou bem acima do ganho no próprio vídeo. Chama atenção que ele inclui documentos e gráficos, tarefas bem distantes de vídeos do YouTube. Provavelmente, prever o próximo token visual ensina ao modelo representações visuais gerais, que depois se transferem para imagens estáticas. Os autores não formulam essa interpretação explicitamente no resumo; essa é uma conclusão nossa a partir dos números.

Outro resultado diz respeito à dinâmica do treinamento. As melhorias em imagens e vídeo aparecem nos primeiros 30% do treinamento, depois estabilizam em um platô e oscilam menos de 0,5 ponto. A julgar por essas curvas, uma execução longa com dados adicionais quase não acrescenta nada.

Por fim, os autores compararam a abordagem com a previsão de legendas. Ela não superou a previsão do próximo token visual. Isso significa que o mid-training com vídeo pode continuar totalmente self-supervised, sem o custo computacional de descrever clipes automaticamente e sem o ruído que legendas geradas introduzem.

Para quem isso é útil

Para equipes que constroem seus próprios modelos multimodais, a conclusão é pragmática. Grandes volumes de vídeo não rotulado podem servir como uma etapa intermediária barata entre o pré-treinamento de texto e o ajuste por instruções. Não é preciso um pipeline de anotação nem um modelo separado para gerar descrições. O platô precoce sugere que dá para limitar o orçamento dessa etapa.

Por enquanto, vale lembrar as limitações. É um preprint, testado em um único modelo pequeno, de 1,7 bilhão de parâmetros, e em um único dataset de vídeo. A diferença de 0,9 ponto nos testes de texto indica mais a ausência de degradação do que um ganho. Se o efeito escala para modelos maiores e para outras fontes de vídeo, o resumo não permite saber. É isso que vale verificar no próximo passo.