CacheScope acelera modelos de difusão em até 3,57x e reduz o LPIPS em 70%

Uma equipe de autores de um preprint no arXiv propôs o CacheScope, uma camada adicional sobre o cache de features em transformers de difusão. O método acelera a inferência em até 3,57 vezes e reduz o LPIPS mediano até 70,1% em comparação com o melhor método de referência baseado em sondas. Os testes foram feitos em três modelos: FLUX.1-dev, para imagens, e Wan2.1-T2V-1.3B e Open-Sora 1.2, para vídeo. Não são necessários retreinamento, gradientes nem redes auxiliares.

Onde o cache de features falha

A lógica da aceleração training-free é simples. Em alguns passos de remoção de ruído, o modelo não calcula todos os blocos e usa uma aproximação tirada do cache, montado nos passos anteriores. Até agora, o esforço dos pesquisadores se concentrou em reconstruir com mais precisão as features puladas, criando reconstrutores cada vez mais sofisticados.

Os autores do CacheScope afirmam que essa aposta chegou ao teto. Quando se usa um reconstrutor estável de primeira ordem, tornar a reconstrução mais complexa traz pouco ganho. O que pesa muito mais na qualidade é outra coisa: em quais passos o modelo calcula tudo e em quais ele recorre ao cache. Segundo os dados deles, a distribuição dos passos exatos importa bem mais do que a sofisticação da aproximação.

Sinal de risco em vez de variação bruta

Fica a pergunta: como saber que o cache é arriscado em determinado passo? Os métodos existentes baseados em sondas observam quanto mudou a saída de uma sonda rasa. Os autores apontam um problema: essa variação absoluta depende de dois fatores ao mesmo tempo. O primeiro é quanto a trajetória de entrada se deslocou. O segundo é quão fortemente a rede reage a esse deslocamento. Por isso, o valor não reflete diretamente o risco de usar o cache.

A solução é a normalização. A variação da saída da sonda é dividida pelo deslocamento correspondente da entrada, o que dá um ganho direcional por unidade de movimento da trajetória. É esse valor que serve como indicador.

Com base nele, o CacheScope encontra online os passos com alto risco de reutilização do cache e, nesses passos, passa para o cálculo completo. O reconstrutor de cache continua o mesmo. O método dispensa gradientes, treinamento adicional, redes auxiliares e otimização offline do cronograma para cada prompt.

O que está declarado em números

• Aceleração: até 3,57x em relação ao denoising completo.
• Qualidade: LPIPS mediano menor em até 70,1% em comparação com o melhor método de referência baseado em sondas.
• Modelos: FLUX.1-dev, Wan2.1-T2V-1.3B, Open-Sora 1.2.
• Requisitos: sem treinamento, gradientes, redes auxiliares nem cronogramas específicos por prompt.
• Reconstrutor de cache: inalterado; o método é adicionado sobre o que já existe.

O "até" é importante. Os valores máximos de aceleração e de melhora do LPIPS provavelmente se referem a modelos e modos diferentes. O resumo não deixa claro qual hardware foi usado nem como os números mudam com configurações mais conservadoras. Trata-se da primeira versão de um preprint, sem revisão por pares nem reproduções independentes.

O que verificar na prática

Para equipes que já aplicam cache de features em FLUX ou em modelos de vídeo, o detalhe de arquitetura chama a atenção: o CacheScope não substitui o reconstrutor, e sim decide quando ele não pode ser usado. Em teoria, isso permite conectá-lo ao pipeline existente sem reescrever o cache e sem uma etapa separada de calibração para cada prompt.

Antes de adotar, vale verificar três pontos. Primeiro, comparar o método com o seu cache atual em prompts reais, e não apenas pelo LPIPS: a métrica é útil, mas não substitui a avaliação visual. Segundo, medir no seu hardware o custo extra da sonda e das decisões online, porque o ganho final depende deles. Terceiro, observar o comportamento com diferentes comprimentos de trajetória e números de passos. Em vídeo, onde os artefatos se acumulam ao longo dos quadros, isso é especialmente crítico.

Se os números declarados se confirmarem, o resultado será uma forma barata de ajustar o equilíbrio entre velocidade e qualidade sem retreinar os modelos.