Qwen3-1.7B affiné sur de la vidéo brute sans légendes : +5,1 points sur les images

Dans un preprint arXiv 2610.11019, des chercheurs ont pris Qwen3-1.7B et l'ont soumis à une étape de mid-training sur de la vidéo brute de YT-Temporal-1B, avant de l'affiner de la même manière sur des paires « image-texte ». Le modèle ayant suivi l'étape vidéo obtient en moyenne 2,9 points de plus sur quatre benchmarks vidéo et 5,1 points de plus sur dix benchmarks image. Les capacités textuelles ne baissent pas : 48,9 contre 48,0 sur 14 tests. Cette étape ne comportait ni légendes ni fonction de perte textuelle.

Comment l'expérience est construite

Les LLM multimodaux apprennent généralement sur des paires « image-texte » ou sur de la vidéo annotée. La vidéo brute du web est presque absente du fine-tuning d'un modèle de langage déjà entraîné. Les auteurs ont voulu vérifier si l'on pouvait changer cela.

Les images des vidéos sont encodées en tokens visuels continus, et le modèle de langage apprend à prédire le token visuel suivant. C'est le même principe que la next-token prediction, avec des images à la place des mots. Cette étape ne contient aucune partie textuelle.

Le contrôle est soigné. Le modèle passé par le mid-training vidéo et celui qui n'y a pas été soumis ont reçu exactement le même instruction tuning image-texte. La seule différence entre eux est l'étape intermédiaire sur la vidéo. Le gain peut donc lui être attribué, et non à un écart dans le réglage final.

Ce que montrent les chiffres

Principaux résultats par rapport au modèle sans mid-training :

• benchmarks vidéo : +2,9 points en moyenne sur quatre tests ;
• benchmarks image : +5,1 points en moyenne sur dix tests, dont des tâches de perception, de documents et de graphiques ;
• benchmarks texte : 48,9 contre 48,0 en moyenne sur 14 tests ;
• modèle de base : Qwen3-1.7B, données : clips de YT-Temporal-1B.

Le gain sur les images est nettement plus élevé que sur la vidéo elle-même. Fait intéressant, il inclut les documents et les graphiques, des tâches très éloignées des vidéos YouTube. Il semble que la prédiction du token visuel suivant apprenne au modèle des représentations visuelles générales, qui se transfèrent ensuite aux images statiques. Les auteurs ne formulent pas explicitement cette interprétation dans l'abstract : c'est notre lecture des chiffres.

Un autre résultat concerne la dynamique. Les améliorations sur les images et la vidéo apparaissent dans les premiers 30% de l'entraînement, puis atteignent un plateau et fluctuent de moins de 0,5 point. À en juger par ces courbes, prolonger l'entraînement avec des données supplémentaires n'apporte presque rien.

Enfin, les auteurs ont comparé leur approche à la prédiction de légendes. Cette dernière n'a pas surpassé la prédiction du token visuel suivant. Le mid-training sur la vidéo peut donc rester entièrement self-supervised, sans le coût de calcul du sous-titrage automatique des clips ni le bruit introduit par les légendes générées.

À qui cela sert

Pour les équipes qui construisent leurs propres modèles multimodaux, la conclusion est pragmatique. Les immenses volumes de vidéo non annotée peuvent servir d'étape intermédiaire peu coûteuse entre le pré-entraînement textuel et l'instruction tuning. Il ne faut ni pipeline d'annotation ni modèle de légendage séparé. Le plateau précoce suggère que le budget alloué à cette étape peut être limité.

Il faut toutefois garder à l'esprit les limites. Il s'agit d'un preprint, testé sur un seul petit modèle de 1,7 milliard de paramètres et sur un seul jeu de données vidéo. L'écart de 0,9 point sur les tests textuels indique plutôt une absence de dégradation qu'une progression. L'abstract ne dit pas si l'effet se maintient sur des modèles plus grands et d'autres sources vidéo. C'est précisément ce qu'il faudra vérifier ensuite.