Les tokens discrets d'images ont presque rattrapé les représentations continues : FVQ comble 59 % de l'écart avec Emu3

FR_FULL

L'équipe de Meituan LongCat, associée à des chercheurs de la Huazhong University of Science and Technology, de la Shanghai Jiao Tong University, de MBZUAI et de la Chinese University of Hong Kong, s'est attaquée à un débat ancien dans l'IA multimodale : peut-on décrire une image avec des tokens discrets — un peu comme un texte est décrit par des mots issus d'un dictionnaire — sans perte de sens, ou les représentations continues (des vecteurs de nombres non arrondis) seront-elles toujours plus précises ?

L'opinion dominante était simple : traduire une image en tokens discrets génère inévitablement une erreur de quantification — c'est-à-dire que l'image reconstruite à partir des tokens diffère légèrement de l'original. Puisqu'il y a une erreur, quelque chose se perd forcément, et les tokens discrets ne peuvent en principe pas être aussi « intelligents » que les représentations continues. Les auteurs ont testé cette hypothèse directement : ils ont pris une représentation d'image qui, une fois reconstruite, produit une erreur nettement plus élevée, et l'ont comparée à une représentation à faible erreur.

Résultat : la première — avec une erreur élevée — aidait le modèle à mieux comprendre l'image (répondre à des questions sur celle-ci, reconnaître du texte, etc.) que la seconde. En d'autres termes, l'erreur de reconstruction d'une image et l'utilité réelle des tokens pour la compréhension sont deux choses distinctes, et l'une ne prédit pas l'autre.

Ce qui s'est révélé important à la place de la précision de reconstruction

Les auteurs ont émis l'hypothèse que ce qui compte, c'est le « budget en bits » — grossièrement, le nombre de variantes réellement distinguables qu'un ensemble de tokens peut encoder. Ce budget croît linéairement avec le nombre de livres de codes utilisés (des ensembles de tokens appliqués l'un après l'autre ou en parallèle), mais seulement de façon logarithmique — donc très lentement — avec la taille de chaque livre individuel. Il est donc plus efficace d'augmenter le nombre de livres que d'agrandir chaque livre.

Le problème, c'est que les schémas existants à plusieurs livres atteignent un plafond. Par exemple, la méthode RVQ (residual vector quantization) fonctionne ainsi : le premier livre encode la partie principale de l'image, le second encode ce qui n'a pas été capturé par le premier (le résidu), le troisième encode le résidu du résidu, et ainsi de suite. Chaque livre suivant reçoit un morceau d'information de plus en plus « vide ».

Le constat est similaire avec la méthode PQ (product quantization) : elle découpe la représentation de l'image en tranches de canaux toujours plus étroites, et chaque livre hérite de moins en moins de contenu. Dans les deux cas, doubler le nombre de livres (par exemple de 8 à 16) n'apporte presque aucun gain de qualité — les livres cessent simplement d'être utiles.

Comment fonctionne FVQ

La solution proposée par les auteurs s'appelle Factorized Vector Quantization (FVQ). Plutôt que de fragmenter la représentation d'une image en morceaux toujours plus petits et pauvres, FVQ génère plusieurs « vues » complètes et équivalentes de la même représentation dans son intégralité, via des projections mathématiques spécifiques qui garantissent, ensemble, la conservation de toute l'information d'origine (une propriété appelée « tight frame »). Chaque vue est encodée par son propre livre de codes, en parallèle, sans hiérarchie « principal — résiduel ». Grâce à cela, l'ajout d'un nouveau livre n'affaiblit pas l'information reçue par les autres — et la qualité continue de progresser même avec 16 livres, un seuil où les anciennes méthodes sont déjà bloquées.

En pratique, cela signifie que plus on ajoute de livres de codes dans FVQ, plus le modèle reconnaît avec précision, par exemple, du texte de petite taille dans les images — l'un des éléments les plus fragiles lors de la compression d'une image en tokens.

Résultats sur des données réelles

Les auteurs ont entraîné leur modèle final — un Qwen3-8B équipé d'un tokeniseur visuel basé sur FVQ à 16 livres, construit au-dessus de Qwen3 ViT — sur des données à l'échelle industrielle, puis l'ont évalué sur neuf tests de compréhension d'images : MMMU, MathVista, MMStar, OCRBench, ChartQA, CharXiv (deux variantes), DocVQA et InfoVQA.

• En moyenne sur ces neuf métriques, le modèle devance UniAR de 22,8 % et Emu3-Chat de 59,2 %
• C'est le premier modèle connu à tokens discrets dont la qualité est comparable à celle de systèmes continus puissants de niveau Qwen3-VL, y compris sur les tâches complexes de reconnaissance de texte dans les images
• Le code et les poids du modèle sont disponibles sur GitHub (hustvl/FVQ), avec une page de projet dédiée proposant des démonstrations

Conclusion pratique pour les équipes qui construisent des modèles multimodaux : viser l'erreur de reconstruction minimale d'une image n'est pas le meilleur critère pour choisir un tokeniseur. Il est plus important d'évaluer combien de bits réellement utiles porte la représentation, et si le schéma de quantification n'atteint pas un plafond lorsqu'on ajoute de nouveaux livres de codes. Si une équipe utilise déjà RVQ ou PQ et constate que la qualité cesse de progresser à mesure que le nombre de livres augmente, un schéma factorisé parallèle comme FVQ constitue une piste d'expérimentation raisonnable, en particulier si la reconnaissance précise de texte et de petits détails dans les images est critique pour le produit.