Qwen3-1.7B, ajustado con vídeo en bruto y sin subtítulos: +5,1 puntos en imágenes

En el preprint arXiv 2610.11019, los investigadores tomaron Qwen3-1.7B, la sometieron a una fase de mid-training con vídeo en bruto de YT-Temporal-1B y después la ajustaron, igual que al modelo de control, con pares «imagen-texto». El modelo con la fase de vídeo obtuvo de media 2,9 puntos más en cuatro benchmarks de vídeo y 5,1 puntos más en diez de imagen. Las capacidades de texto no se resintieron: 48,9 frente a 48,0 en 14 pruebas. En esta etapa no hubo subtítulos ni pérdida (loss) de texto de ningún tipo.

Cómo es el experimento

Los LLM multimodales suelen entrenarse con pares «imagen-texto» o con vídeo etiquetado. El vídeo web en bruto casi nunca se usa para ajustar un modelo de lenguaje ya entrenado. Los autores quisieron comprobar si eso se puede cambiar.

Los fotogramas se codifican en tokens visuales continuos, y el modelo de lenguaje aprende a predecir el siguiente token visual. Es el mismo principio de next-token prediction, pero con fotogramas en lugar de palabras. En esta etapa no hay componente de texto.

El control está bien diseñado. Tanto al modelo con mid-training en vídeo como al que no lo tuvo se les aplicó exactamente el mismo image-text instruction tuning. La única diferencia entre ambos es la fase intermedia con vídeo. Por eso la mejora puede atribuirse a esa fase y no a diferencias en el ajuste final.

Qué muestran las cifras

Principales resultados frente al modelo sin mid-training:

• benchmarks de vídeo: +2,9 puntos de media en cuatro pruebas;
• benchmarks de imagen: +5,1 puntos de media en diez, con tareas de percepción, documentos y gráficos;
• benchmarks de texto: 48,9 frente a 48,0 de media en 14 pruebas;
• base: Qwen3-1.7B; datos: clips de YT-Temporal-1B.

La mejora en imágenes resultó claramente mayor que en el propio vídeo. Llama la atención que incluya documentos y gráficos, tareas muy alejadas de los vídeos de YouTube. Es probable que predecir el siguiente token visual enseñe al modelo representaciones visuales generales, que luego se trasladan a las imágenes estáticas. Los autores no formulan esta interpretación de forma explícita en el abstract; es una conclusión nuestra a partir de las cifras.

Otro resultado se refiere a la dinámica del entrenamiento. Las mejoras en imágenes y vídeo aparecen en el primer 30% del entrenamiento, después alcanzan una meseta y fluctúan en menos de 0,5 puntos. A juzgar por estas curvas, una ejecución más larga con datos adicionales aporta casi nada.

Por último, los autores compararon su enfoque con la predicción de subtítulos. Esta no superó a la predicción del siguiente token visual. Por tanto, el mid-training con vídeo puede seguir siendo totalmente self-supervised, sin el coste de cómputo de describir los clips automáticamente y sin el ruido que introducen los subtítulos generados.

A quién le sirve

Para los equipos que construyen sus propios modelos multimodales, la conclusión es práctica. Los enormes volúmenes de vídeo sin etiquetar pueden usarse como una etapa intermedia barata entre el preentrenamiento de texto y el instruction tuning. No hace falta un pipeline de anotación ni un modelo aparte que describa los clips. La meseta temprana sugiere que el presupuesto de esta etapa se puede limitar.

Conviene, por ahora, tener presentes las limitaciones. Es un preprint, y se probó con un solo modelo pequeño de 1,7 mil millones de parámetros y con un único dataset de vídeo. La diferencia de 0,9 puntos en las pruebas de texto indica más bien ausencia de degradación que una mejora. Si el efecto escala a modelos mayores y a otras fuentes de vídeo, no se desprende del abstract. Eso es precisamente lo que habría que comprobar como siguiente paso.