Tokens discretos de imagem quase alcançam os contínuos: FVQ fecha a lacuna com 59% de vantagem sobre o Emu3

Uma equipe da Meituan LongCat, em conjunto com pesquisadores da Huazhong University of Science and Technology, da Shanghai Jiao Tong University, da MBZUAI e da Chinese University of Hong Kong, encarou um debate antigo na IA multimodal: é possível descrever uma imagem com tokens discretos — de forma parecida a como um texto é descrito com palavras de um dicionário — sem perder significado, ou características contínuas (vetores numéricos sem arredondamento) sempre serão mais precisas?

A visão predominante era simples: ao converter uma imagem em tokens discretos, surge inevitavelmente um erro de quantização — ou seja, a imagem reconstruída a partir dos tokens difere ligeiramente da original. Se há um erro, algo se perdeu, e os tokens discretos, em principio, nunca poderiam ser tão "inteligentes" quanto as características contínuas. Os autores testaram isso diretamente: pegaram uma representação de imagem que, ao ser reconstruída, produz um erro visivelmente maior, e a compararam com outra representação cujo erro é pequeno.

Descobriram que a primeira — com erro grande — ajudava o modelo a entender melhor a imagem (responder perguntas sobre ela, reconhecer texto etc.) do que a segunda. Ou seja, o erro de reconstrução da imagem e a utilidade real dos tokens para a compreensão são coisas diferentes, e uma não prevê a outra.

O que se revelou importante em vez da precisão de reconstrução

Os autores levantaram a hipótese de que o que importa é o "orçamento de bits" — grosso modo, quantas variantes realmente distinguíveis um conjunto de tokens consegue codificar. Esse orçamento cresce linearmente com o número de livros de código usados (conjuntos de tokens aplicados sequencialmente ou em paralelo), mas apenas muito lentamente — de forma logarítmica — com o tamanho de cada livro individual. Por isso, aumentar o número de livros é mais eficiente do que torná-los maiores.

O problema é que os esquemas existentes com vários livros têm um teto. Por exemplo, o método RVQ (residual vector quantization) funciona assim: o primeiro livro codifica a parte principal da imagem, o segundo codifica o que restou sem codificação após o primeiro (o resíduo), o terceiro codifica o resíduo do resíduo, e assim por diante. Cada livro seguinte recebe uma fatia de informação cada vez mais "vazia".

Algo semelhante ocorre com o método PQ (product quantization): ele divide a característica da imagem em pedaços de canais cada vez mais estreitos, e cada livro recebe cada vez menos conteúdo. Em ambos os casos, ao dobrar o número de livros (por exemplo, de 8 para 16), a qualidade quase não melhora — os livros simplesmente deixam de agregar valor.

Como funciona o FVQ

A solução dos autores é a Factorized Vector Quantization (FVQ). Em vez de fragmentar a característica da imagem em pedaços cada vez menores e mais pobres, o FVQ cria várias "visões" completas e equivalentes da mesma característica inteira, por meio de projeções matemáticas especiais que garantem, em conjunto, preservar toda a informação original (a chamada propriedade de "tight frame", ou quadro ajustado). Cada visão é codificada por seu próprio livro de código, em paralelo, sem hierarquia de "principal versus residual". Graças a isso, adicionar um novo livro não enfraquece a informação disponível para os demais — e a qualidade continua melhorando mesmo com 16 livros, ponto em que os métodos antigos já estagnam.

Na prática, isso significa que, quanto mais livros de código são adicionados ao FVQ, mais precisamente o modelo reconhece, por exemplo, textos pequenos em imagens — algo que costuma ser o primeiro a sofrer na compressão de uma imagem em tokens.

Resultados com dados reais

Os autores treinaram o modelo final — um Qwen3-8B equipado com um tokenizador visual baseado em um FVQ de 16 livros sobre o Qwen3 ViT — com dados em escala industrial, e o avaliaram em nove testes de compreensão de imagens: MMMU, MathVista, MMStar, OCRBench, ChartQA, CharXiv (duas variantes), DocVQA e InfoVQA.

• Em média, nessas nove métricas, o modelo superou o UniAR em 22,8% e o Emu3-Chat em 59,2%
• É o primeiro modelo conhecido de tokens discretos comparável em qualidade a sistemas contínuos robustos do nível do Qwen3-VL, inclusive em tarefas complexas de reconhecimento de texto em imagens
• O código e os pesos do modelo estão disponíveis no GitHub (hustvl/FVQ), com uma página de projeto dedicada e demonstrações

A conclusão prática para equipes que constroem modelos multimodais: correr atrás do menor erro possível de reconstrução de imagem não é o melhor critério na escolha de um tokenizador. É mais importante observar quantos bits realmente úteis uma representação carrega e se o esquema de quantização atinge um teto ao adicionar novos livros de código. Se uma equipe já usa RVQ ou PQ e percebe que a qualidade para de melhorar ao aumentar o número de livros, um esquema paralelo e fatorizado como o FVQ é uma direção razoável para experimentar — especialmente quando o reconhecimento preciso de texto e detalhes pequenos em imagens é crítico para o produto.