Arquitetura SpecSlot reduz FID em 2,84 frente ao JiT-CM e economiza 3,9% de GFLOPs

Modelos generativos que trabalham diretamente em pixels dispensam um autoencoder treinado à parte e o gargalo de compressão que ele impõe. O preço é uma sequência longa: a imagem inteira precisa ser convertida em tokens de transformer. A arquitetura SpecSlot separa duas coisas que costumam andar juntas: o nível de detalhe com que o modelo gera a imagem e o número de tokens que participam da atenção global. No ImageNet-512, a configuração W256/K4 reduziu o FID (métrica de distância entre imagens geradas e reais; quanto menor, melhor) em 2,84 em relação ao JiT-CM. Esse é um modelo de controle do JiT, ajustado pelos autores para os mesmos FLOPs. Ao mesmo tempo, o SpecSlot gastou 3,9% menos GFLOPs.

Por que a grade de patches esbarra na atenção quadrática

Na maioria dos transformers em pixels, um token corresponde a um patch espacial. A grade de patches define ao mesmo tempo o que o modelo lê, o que cada token prevê e quantos tokens entram na atenção global. Em uma imagem de 256×256, reduzir o patch de 16 para 8 faz o número de tokens subir de 256 para 1024, e a parte quadrática do custo da atenção cresce junto.

As abordagens existentes atacam o problema por ângulos diferentes. O JiT passa cada patch pela sequência global. Sistemas multiescala levam os detalhes para estágios adicionais ou para cabeças de refinamento. Métodos de atenção eficiente encurtam a sequência com janelas, tokens globais seletivos ou esparsidade aprendida. O Spectral Forcing usa a estrutura de frequência, mas apenas para filtrar a entrada ruidosa, e seus tokens continuam sendo patches espaciais. Em todos esses esquemas, o detalhe da saída fica preso à grade de patches, mesmo quando a troca de informação entre tokens é comprimida ou limitada.

Read, Allocate, Route: âncoras e slots espectrais

Os autores partem de uma observação: as baixas frequências carregam a organização geral do quadro e se beneficiam da troca de informação a longa distância, enquanto os detalhes finos são, em sua maioria, locais. Nos esquemas existentes, a forma como um token se comunica com os demais depende da posição dele, e não do que ele produz na saída. O SpecSlot muda isso e estrutura o cálculo em três operações.

Read: a imagem é lida em uma grade de âncoras espaciais, que coletam os dados de entrada. Uma pequena convolução com inicialização zero permite que células vizinhas troquem informação antes da divisão de papéis. Allocate: cada âncora se desdobra em slots indexados, e cada slot recebe seu próprio grupo radial, sem sobreposição, de coeficientes da DCT (transformada discreta de cosseno). Route: o papel determina a comunicação. Da âncora, apenas o slot com o grupo de frequência mais baixa segue para o estágio global, enquanto dentro da âncora todos os slots interagem entre si.

O cronograma de atenção se chama GGLL (global–global–local–local): um portador de baixa frequência por âncora entra nos blocos globais, e todos os slots trabalham nos blocos locais dentro da âncora. Os estados finais dos slots decodificam uma base espectral baseada em lapped-DCT e uma correção espacial alinhada às âncoras. As duas são somadas no espaço de pixels. A correção não adiciona novos tokens. O estado, o alvo e a função de perda permanecem no espaço de pixels, e o modelo é treinado com rectified flow.

O resultado são duas variáveis de distribuição independentes. Uma define a densidade das âncoras espaciais; a outra, a divisão espectral dentro de cada âncora. O número total de slots cresce, mas a sequência global contém apenas os portadores. O orçamento fixo de tokens pode ser gasto em âncoras mais densas ou em papéis espectrais mais finos. A escolha do tamanho do patch passa a ser um problema explícito de compromisso entre qualidade e computação.

O que mostraram as medições

No ImageNet-256 e no ImageNet-512, o SpecSlot oferece dois pontos de operação medidos entre as configurações barata e cara do JiT. No ImageNet-512, a variante W256/K4 fica atrás do JiT-B/16 em FID por apenas 0,69, mas custa 38,2% menos. Janelas de saída maiores cobrem mais pixels sem alterar a sequência global. Os autores atribuem a isso o fato de o ganho em relação ao JiT-CM ter sido maior.

Em geração de imagens a partir de texto, o SpecSlot superou o JiT-B/8 em 1,06 ponto no DPG-Bench (teste de aderência da imagem a descrições complexas), com custo de passada direta 40,6% menor.

Há também uma ressalva dos próprios autores: partes iguais de coeficientes nos slots não significam custo igual, porque a comunicação e as projeções escalam de maneira diferente conforme a divisão. Por isso, é preciso comparar o custo medido, e não apenas o número de tokens. Os autores publicaram o código e os pesos no GitHub e no Hugging Face.