T2Quant redistribui a precisão pelos passos de LLMs de difusão: até +6,7 p.p.

Os modelos de linguagem de difusão geram texto de um jeito diferente das LLMs autorregressivas tradicionais: em vez de escrever token por token, eles "limpam" aos poucos uma sequência ruidosa ao longo de vários passos de denoising. Esse esquema tem um custo, porque o modelo precisa ser executado muitas vezes em sequência. Pesquisadores de um trabalho recente no Hugging Face Daily Papers propõem reduzir esse custo com quantização e apresentam o método T2Quant.

Ele distribui a precisão (em bits) das ativações pelos passos de denoising, levando em conta a tarefa em questão. Em três DLMs e seis benchmarks, o T2Quant melhora a acurácia média dos métodos de quantização existentes em até 6,7 pontos percentuais, com o mesmo orçamento de bits.

Por que os passos de denoising quebram a quantização convencional

A quantização usual de LLMs é configurada como se todas as passagens diretas (forward passes) do modelo tivessem o mesmo peso. Para modelos de difusão, essa suposição não se sustenta. Um erro de arredondamento introduzido num passo inicial, quando o texto ainda é quase só ruído, se comporta de outra forma que o mesmo erro nos passos finais, em que o modelo refina os detalhes. Os autores mostram que a sensibilidade à quantização depende do tempo, ou seja, do número do passo.

A segunda dependência está ligada à tarefa. Tarefas downstream diferentes exigem precisões diferentes em etapas diferentes do denoising. Um perfil que serve para um tipo de benchmark pode custar perdas visíveis de qualidade em outro. Um esquema único de precisão para todos os passos e todas as tarefas acaba sendo um meio-termo que não é ótimo em lugar nenhum.

Um sinal sem rótulos

A principal descoberta prática do trabalho é que esses padrões de sensibilidade podem ser previstos sem rótulos ground-truth e sem métricas task-specific. Em geral, ajustar a configuração de quantização para uma tarefa exige rodar avaliações em dados rotulados, o que é caro e nem sempre possível. O T2Quant usa um sinal de sensibilidade label-free e, a partir dele, decide em quais passos as ativações precisam de mais bits e em quais bastam menos.

A restrição é rígida: o orçamento total de bits é fixo. O método não acrescenta bits além do limite, apenas os redistribui entre os passos. Se em algumas etapas da geração a precisão pode ser reduzida quase sem prejuízo, o recurso liberado vai para os passos críticos.

Principais parâmetros do trabalho:

• objeto: modelos de linguagem de difusão (DLM);
• o que é otimizado: precisão (em bits) das ativações por passo de denoising;
• restrição: orçamento de bits fixo;
• sinal de escolha: label-free, sem rótulos e sem métricas da tarefa;
• validação: três DLMs e seis benchmarks;
• resultado: aumento da acurácia média dos métodos de quantização existentes em até +6,7 p.p.

O que mudar no pipeline de inferência

Um detalhe importante: o T2Quant não substitui os métodos de quantização existentes, e sim os aprimora. Os autores registram um ganho estável de acurácia média sobre abordagens já conhecidas. Uma equipe que coloca DLMs em produção não precisa reescrever toda a stack. Basta adicionar uma camada que decida qual precisão de ativação usar em cada passo.

Para engenheiros de inferência, o trabalho traz três conclusões. Primeiro, o perfil de precisão por passo deve ser tratado como um parâmetro de ajuste próprio, e não como uma constante. Segundo, é possível escolher o perfil para cada tarefa sem dados rotulados, e portanto também em produção, onde não há respostas de referência. Terceiro, com limites rígidos de memória e de computação, o ganho de alguns pontos percentuais vem sem aumentar o orçamento de bits.

Para a indústria, é um sinal de que os modelos de linguagem de difusão estão avançando para as mesmas ferramentas de otimização que há tempos se aplicam às LLMs autorregressivas, com o ajuste da dimensão temporal. Quanto mais barato o denoising iterativo, mais realista fica a competição das DLMs com os modelos convencionais em custo por token. Por enquanto, é um resultado acadêmico, obtido em três modelos e seis testes. Mas o princípio de que "a precisão depende do passo e da tarefa" certamente será verificado em outras implementações de DLM.