Tencent lance Youtu-Parsing-Omni : un seul modèle pour analyser documents, audio et vidéo

Tencent a publié Youtu-Parsing-Omni, un « parseur tout-terrain » : le modèle lit des pages de documents, des photos, de l'audio et de la vidéo, puis les convertit en une sortie structurée. Dans cette sortie, chaque fragment porte des coordonnées sur l'image ou un intervalle de temps. Elle sert de couche de perception pour les agents IA. L'agent convertit l'entrée en texte une seule fois. Ensuite, n'importe quel modèle de langage, y compris un modèle sans vision ni audition, travaille sur ce texte et cite une région ou un intervalle précis comme preuve. Le code et les poids sont disponibles en accès libre.

Pourquoi les agents ont besoin d'une entrée déjà analysée

Les agents fondés sur des LLM s'appuient de plus en plus sur des données extérieures à leur propre mémoire : ils cherchent des sources, appellent des outils, pilotent un ordinateur via l'écran. Ces données arrivent rarement sous forme de texte brut. Il s'agit plus souvent de PDF, de captures d'écran, d'enregistrements d'appels ou de vidéos.

Si l'on fournit pixels et son bruts au modèle principal de l'agent, deux problèmes apparaissent :

• à chaque retour sur le matériau, le modèle réencode de longues séquences de tokens visuels et sonores ; • une réponse tirée des pixels ou de l'onde sonore n'indique pas elle-même quel passage la confirme.

Parsing-Omni analyse l'entrée une seule fois. L'agent travaille ensuite sur la sortie textuelle et peut vérifier chaque affirmation grâce à son ancrage.

Les solutions existantes ne couvrent cette tâche que partiellement. Les parseurs de documents gèrent bien les pages ordinaires, mais laissent généralement les structures chimiques et les partitions à des modèles spécialisés étroits. Les modèles multimodaux sont optimisés pour décrire des images et répondre à des questions, pas pour produire une sortie structurée avec ancrage. Pour chaque type d'entrée, il faut maintenir des modèles différents, avec des formats de réponse différents.

Un seul encodeur au lieu de deux tours

Dans les parseurs omni existants, dont Logics-Parsing-Omni, deux encodeurs entraînés séparément codent les pixels et le son. Leurs flux ne se rencontrent qu'à l'intérieur du modèle de langage. Cela pose trois problèmes : l'image et le son d'un même instant ne sont pas mis en correspondance à l'étape de perception, les deux encodeurs ont chacun une horloge indépendante, et chaque nouvelle modalité exige une nouvelle tour avec son propre préentraînement.

Youtu-Omni-Encoder adopte une autre architecture :

• un seul transformeur commun à attention bidirectionnelle pour toutes les modalités, initialisé avec les poids d'un modèle de langage textuel préentraîné afin de mieux lire le texte présent dans les images ; • chaque modalité n'a que de légères « branches d'entrée » et des projecteurs de sortie. Les images et les images de vidéo sont découpées en patchs avec une seule transformation linéaire, tandis que le son est converti en spectrogramme log-mel puis passé dans quelques convolutions de compression ; • le décodeur est un modèle textuel dense, entraîné selon la recette de Youtu-LLM-2B. Il ne produit que du texte.

Dans ce schéma, une nouvelle modalité demande une nouvelle « branche » et un projecteur, et non une seconde tour. Il faudra toutefois toujours réentraîner les poids partagés sur la nouvelle entrée.

Comment l'image et le son sont alignés dans le temps

L'encodeur utilise un système de positions unique. La plage de fréquences des positions rotatives (RoPE) est découpée en segments pour la largeur, la hauteur et le temps. Une image et un token sonore reçoivent une position sur une échelle temporelle commune.

Une échelle commune ne suffit pas : il faut aussi une interaction. C'est pourquoi une partie des couches fonctionne comme des couches de fusion. Les images et les fragments sonores de la vidéo sont empaquetés dans l'ordre chronologique, et une nouvelle fenêtre d'attention commence à chaque frontière « son → image ». L'image voit ainsi le son du même instant. La question « quels mots sont prononcés pendant que cette diapositive est à l'écran » est donc résolue à l'étape de perception, sans que le décodeur ait à reconstituer l'information après coup.

Dans les autres couches, chaque image et chaque fragment sonore dispose de sa propre fenêtre. Les deux modes utilisent les mêmes poids. Pendant l'entraînement, la vidéo passe par la fusion avec une probabilité donnée, de sorte que les deux chemins fonctionnent à l'inférence.

Un schéma unique et l'auto-apprentissage sur ses propres réponses

Le format de sortie commun s'appelle OmniSchema. Il s'agit d'un JSON avec trois champs obligatoires : une liste d'unités localisées avec leur contenu, une description globale de l'entrée et des champs de service. Pour les images, l'unité est un élément avec un cadre en coordonnées normalisées ; pour l'audio et la vidéo, c'est un segment avec un début et une fin (précision à la seconde) et un identifiant de locuteur, unique pour toute l'entrée. Le schéma couvre 10 tâches et trois types d'entrée : images (pages et photos ordinaires), audio et vidéo.

Ce format unifié a permis d'appliquer une seule procédure d'affinage, OSAD (OmniSchema-Aware On-Policy Distillation). Après un entraînement classique sur des références et un apprentissage avec récompense vérifiable, le modèle apprend à partir de ses propres analyses. Le « professeur » est une copie figée du modèle lui-même, à laquelle on montre en plus la réponse de référence. Il fournit des distributions cibles pour chaque token. Les tokens sont répartis par rôle, contenu ou structure, et chaque rôle a sa propre fonction de perte. Après chaque tour, le modèle entraîné devient le nouveau professeur. Il n'est pas nécessaire de définir à la main une fonction de récompense, ni d'avoir un modèle professeur distinct.

Résultats

Un seul checkpoint prend en charge les 10 tâches. Les auteurs affirment ce qui suit :

• meilleur résultat sur OmniDocBench v1.6, un benchmark d'analyse de pages de documents ; • première place parmi les modèles ouverts sur OmniParsingBench, qui évalue l'analyse d'images, d'audio et de vidéo. Le modèle a devancé Logics-Parsing-Omni, et l'écart le plus net concerne l'audio et la vidéo ; • meilleur score global sur l'analyse de graphiques ; • plus forte proportion de correspondances exactes des « empreintes » chimiques de molécules (métrique [email protected]) parmi les systèmes comparés, dont DeepSeek-OCR 2 ; • en transcription caractère par caractère de partitions imprimées, le modèle se situe au niveau du modèle spécialisé LEGATO et devance nettement les systèmes généralistes.

Pour les ingénieurs, la conclusion est la suivante : au lieu d'un assemblage de modèles OCR, ASR et vidéo aux formats différents, il est possible de s'appuyer sur un seul parseur dont les références aux sources sont vérifiables. Pour les entreprises, c'est une voie vers des agents qui analysent contrats, enregistrements de réunions et vidéos, et montrent d'où provient chaque affirmation. Tous les chiffres proviennent des déclarations des auteurs ; il n'existe pas encore de mesures indépendantes.