KAIST ensina VLMs de difusão a não olhar para a imagem: 35% do cálculo com 99,6% da qualidade

Um grupo do KAIST propôs uma forma de acelerar modelos multimodais de difusão, ou seja, redes neurais que entendem imagens e texto e geram a resposta não palavra por palavra, mas em lotes, "revelando" aos poucos tokens mascarados. O método se chama LOWN (Look Only When Needed, "olhe só quando for preciso"). Em dez benchmarks, ele mantém 99,6% da pontuação do modelo LLaDA-V com 35,3% do seu custo computacional de decodificação. Não é necessário treinar o modelo de novo nem ajustar limiares.

Por que o modelo recalcula a mesma imagem à toa

Os VLMs de difusão (DVLMs) têm uma particularidade de projeto. A atenção neles é bidirecional, então o cache exato de chaves e valores, habitual em modelos autorregressivos, não funciona diretamente. A inferência convencional processa a sequência inteira a cada passo: imagem, prompt e resposta. Os tokens visuais ocupam de 89% a 97% dessa sequência, enquanto uma passada sem eles custa apenas de 3% a 10% da completa. Ou seja, a maior parte do cálculo vai para reprocessar uma imagem que não muda.

Os autores verificaram com que frequência a imagem de fato é necessária. Eles compararam as previsões do LLaDA-V com e sem a imagem, na mesma trajetória de decodificação, nos dez benchmarks:

• Em 83,4% das posições que o modelo estava prestes a revelar, o token mais provável foi o mesmo nos dois modos. • 85,0% dos tokens finais já tinham aparecido como melhor previsão na sua posição antes do momento de serem revelados. • A imagem mudou o token revelado em apenas 22,8% dos passos, em média. A variação é grande: 7,9% no MMBench e 43,8% no DocVQA, que exige ler texto em documentos escaneados.

Em oito dos dez benchmarks, as divergências se concentram no início da geração, mas o padrão não é universal, como mostra o DeCapBench. Por isso, um cronograma fixo do tipo "olhar a imagem a cada N passos" funciona mal: a necessidade da imagem depende tanto da tarefa quanto do passo específico.

Como o LOWN decide se a imagem é necessária

Após cada passada completa (com a imagem), o método salva as previsões e a confiança como uma "âncora". Nos passos seguintes, executa uma passada barata sem os tokens visuais, mantendo os índices posicionais. O esquema funciona assim:

• As posições mascaradas são ordenadas pela confiança da âncora. • Um token é considerado confirmado se a previsão sem imagem coincide com a âncora. • Toma-se o maior prefixo de tokens confirmados consecutivos. A primeira divergência o interrompe. • Se o prefixo não for menor que o número usual de tokens por passo, a passada completa é pulada. O prefixo inteiro é aceito, de modo que um único passo pode revelar mais tokens do que no modelo base. • Se o prefixo for menor, o modelo executa a passada completa. Ela atualiza a âncora, e as primeiras posições reveladas são aquelas em que as previsões com e sem imagem divergiram.

O número de passos não passa do número do modelo base, e o tamanho do prefixo aceito é determinado pela própria entrada, sem um limiar definido manualmente. A confirmação às vezes erra: uma nova passada completa desfaz de 2,2% a 4,7% dos tokens revelados nos passos sem imagem. Para que o erro não se acumule, a âncora é totalmente substituída a cada passada completa.

O que os experimentos mostraram

Os testes cobriram dez benchmarks: questões de múltipla escolha, compreensão de documentos e gráficos, problemas matemáticos e descrições detalhadas de imagens. Entre os métodos de aceleração com orçamento igual ou maior que o do LOWN, ele lidera em oito dos dez. A comparação incluiu poda de tokens visuais (RedVTP, ZOO-Prune), o cronograma de revelação KLASS e o cache Fast-dLLM.

Um detalhe importante: o LOWN não substitui os outros métodos, e sim se soma a eles. Ele muda a frequência com que a passada completa é necessária, enquanto a poda e o cache barateiam a própria passada. Combinado com poda ou cache, reduz o custo do método parceiro em 1,8–2,5 vezes. Em conjunto com o cache, a decodificação fica de 5,6 a 7,0 vezes mais rápida que a do modelo original. A mesma regra vale para o LaViDa e o VidLaDA, isto é, para outros DVLMs e para vídeo.

O que isso significa para engenheiros

Se você roda VLMs de difusão em documentos ou gráficos, o principal item de custo é o reprocessamento da imagem. O LOWN reduz esse gasto sem retreino e sem ajuste de hiperparâmetros para cada tarefa, por isso pode ser ativado na etapa de inferência. Há uma limitação a considerar: o ganho depende do benchmark. Quanto mais tokens visuais houver na requisição e quanto menos a resposta precisar da imagem, maior a economia. Em tarefas como o DocVQA, em que a imagem é necessária em quase metade dos passos, a economia é mais modesta. Os autores publicaram o código e a página do projeto.