APEX comprime latentes de difusão em 128 vezes e supera modelo de 256 tokens no ImageNet-512

Pesquisadores apresentaram no arXiv o APEX, um método que ataca o principal problema da difusão barata: quanto mais comprimido o latente, mais difícil é gerá-lo. No ImageNet-512, o APEX supera os métodos existentes em todos os números de canais testados nos modos de compressão 64x e 128x. Com o mesmo custo de treinamento e guided sampling, ele também supera o modelo de 256 tokens em todos os orçamentos testados, e a diferença é maior quanto menor o poder computacional. O código está publicado na página do projeto.

O dilema que motivou o trabalho

O custo da difusão latente depende diretamente do número de tokens com que o denoiser trabalha. Menos tokens significam treinamento e inferência mais rápidos e baratos. Mas a informação da imagem não desaparece. Com poucos tokens, é preciso empacotá-la nos canais de cada token.

É aí que surge a contradição que os autores chamam de reconstruction-generation dilemma. Mais canais permitem que o autoencoder reconstrua a imagem com mais precisão. Ao mesmo tempo, um latente tão denso é mais difícil de modelar para o modelo de difusão. O ganho na reconstrução é consumido pela queda na geração.

O que o APEX propõe

O nome vem de Asynchronous Prefix denoising for EXtreme compression. A solução tem duas partes que funcionam em conjunto.

A primeira é um espaço latente hierárquico. O autoencoder ordena os canais por prefixos: primeiro vêm os que carregam a estrutura da imagem, depois os responsáveis pelos detalhes. O início do vetor de canais descreve o quadro geral, e o restante o refina.

A segunda é o denoising assíncrono por grupos de canais. Um único denoiser compartilhado gera grupos diferentes em momentos locais diferentes. O número de tokens não cresce, e a arquitetura não se complica com modelos separados para cada grupo. Segundo os autores, esse esquema permite gerar estrutura e detalhes de maneira distinta, em vez de jogar todo o latente numa única tarefa.

Os números do artigo

• Benchmark: ImageNet-512.
• Modos de compressão: 64x e 128x.
• Comparação com métodos existentes: o APEX é melhor em todos os números de canais testados.
• Comparação com o modelo de 256 tokens: o APEX é melhor em todos os orçamentos testados, com o mesmo custo de treinamento e guided sampling.
• Tendência: quanto menor o orçamento computacional, maior o ganho.
• Tokens adicionais: não são necessários.

O ponto sobre o orçamento é o mais importante. Se a diferença cresce justamente onde há pouca computação, o método interessa sobretudo a quem precisa economizar.

O que fazer com isso na prática

Para equipes que constroem seus próprios modelos generativos de imagem, o APEX dá um motivo concreto para recalcular o equilíbrio entre número de tokens e qualidade. O código é aberto, então dá para reproduzir o resultado no ImageNet-512 sem fazer engenharia reversa do artigo.

Também é preciso cautela. O abstract declara resultados apenas no ImageNet-512. Não dá para saber, a partir dele, se a abordagem funciona em text-to-image com datasets grandes, com vídeo ou com outras arquiteturas de denoiser. Também não consta o custo do próprio autoencoder com hierarquia de canais: quanto custa treiná-lo e quão sensível ele é às configurações.

Vale ler o texto completo e responder a três perguntas. Como exatamente funciona o cronograma dos tempos assíncronos. Que ganho a compressão de 128x entrega no tempo real de inferência. Se a vantagem se mantém ao escalar o modelo. Dessas respostas depende se o APEX vai virar uma ferramenta de trabalho ou continuar sendo apenas um trabalho acadêmico benfeito.