Los tokens discretos de imagen casi alcanzan a los continuos: FVQ cierra la brecha con un 59% de ventaja sobre Emu3

Un equipo de Meituan LongCat, junto con investigadores de la Universidad de Ciencia y Tecnología de Huazhong, la Universidad Jiao Tong de Shanghái, MBZUAI y la Universidad China de Hong Kong, abordó un debate de larga data en la IA multimodal: ¿se puede describir una imagen con tokens discretos —de forma similar a como un texto se describe con palabras de un diccionario— sin perder significado, o las características continuas (vectores numéricos sin redondear) siempre serán más precisas?

La opinión predominante era sencilla: al convertir una imagen en tokens discretos aparece inevitablemente un error de cuantización, es decir, la imagen reconstruida a partir de los tokens difiere ligeramente del original. Si hay un error, algo se perdió, y los tokens discretos no podrían, en principio, ser tan "inteligentes" como las características continuas. Los autores lo pusieron a prueba directamente: tomaron una representación de imagen que, al reconstruirla, produce un error notablemente mayor, y la compararon con otra representación cuyo error es pequeño.

Resultó que la primera —con el error grande— ayudaba al modelo a entender mejor la imagen (responder preguntas sobre ella, reconocer texto, etc.) que la segunda. Es decir, el error de reconstrucción de la imagen y la utilidad real de los tokens para la comprensión son cosas distintas, y una no predice la otra.

Lo que resultó importante en lugar de la precisión de reconstrucción

Los autores plantearon que lo que importa es el "presupuesto de bits": a grandes rasgos, cuántas variantes realmente distinguibles puede codificar un conjunto de tokens. Este presupuesto crece de forma lineal con el número de libros de códigos usados (conjuntos de tokens que se aplican uno tras otro o en paralelo), pero solo muy lentamente —de forma logarítmica— con el tamaño de cada libro individual. Por eso, aumentar el número de libros es más eficiente que hacer los libros más grandes.

El problema es que los esquemas existentes con varios libros tienen un techo. Por ejemplo, el método RVQ (residual vector quantization) funciona así: el primer libro codifica la parte principal de la imagen, el segundo codifica lo que quedó sin codificar tras el primero (el residuo), el tercero codifica el residuo del residuo, y así sucesivamente. Cada libro siguiente recibe un fragmento de información cada vez más "vacío".

Algo similar ocurre con el método PQ (product quantization): divide la característica de la imagen en fragmentos de canales cada vez más estrechos, y a cada libro le toca cada vez menos contenido. En ambos casos, al duplicar el número de libros (por ejemplo, de 8 a 16), la calidad casi no mejora: los libros simplemente dejan de aportar.

Cómo funciona FVQ

La solución de los autores es la Cuantización Vectorial Factorizada (FVQ, por sus siglas en inglés). En lugar de fragmentar la característica de la imagen en piezas cada vez más pequeñas y pobres, FVQ crea varias "vistas" completas y equivalentes de la misma característica entera, mediante proyecciones matemáticas especiales que garantizan, en conjunto, conservar toda la información original (la llamada propiedad de "marco ajustado" o tight frame). Cada vista se codifica con su propio libro de códigos de forma paralela, sin jerarquía de "principal frente a residual".

Gracias a esto, añadir un nuevo libro no debilita la información que reciben los demás, y la calidad sigue mejorando incluso con 16 libros, un punto donde los métodos antiguos ya se estancan.

En la práctica, esto significa que cuantos más libros de códigos se añadan a FVQ, con más precisión reconoce el modelo, por ejemplo, texto pequeño en las imágenes, algo que normalmente es lo primero que se pierde al comprimir una imagen en tokens.

Resultados con datos reales

Los autores entrenaron el modelo final —un Qwen3-8B con un tokenizador visual basado en un FVQ de 16 libros sobre Qwen3 ViT— con datos de escala industrial, y lo evaluaron en nueve pruebas de comprensión de imágenes: MMMU, MathVista, MMStar, OCRBench, ChartQA, CharXiv (dos variantes), DocVQA e InfoVQA.

• En promedio sobre estas nueve métricas, el modelo superó a UniAR por un 22,8% y a Emu3-Chat por un 59,2%
• Es el primer modelo conocido de tokens discretos comparable en calidad con sistemas continuos potentes del nivel de Qwen3-VL, incluso en tareas complejas de reconocimiento de texto en imágenes
• El código y los pesos del modelo están disponibles en GitHub (hustvl/FVQ), con una página de proyecto dedicada con demostraciones

La conclusión práctica para los equipos que construyen modelos multimodales: perseguir el mínimo error de reconstrucción de la imagen no es el mejor criterio al elegir un tokenizador. Es más importante observar cuántos bits realmente útiles aporta la representación y si el esquema de cuantización choca con un techo al añadir nuevos libros de códigos. Si un equipo ya usa RVQ o PQ y nota que la calidad deja de mejorar al aumentar el número de libros, un esquema paralelo y factorizado como FVQ es una dirección razonable para experimentar, especialmente si el reconocimiento preciso de texto y detalles pequeños en las imágenes es crítico para el producto.