LLMs de difusão gastam mais de três vezes mais passes para escrever um conto do que para corrigir gramática

Os modelos de linguagem de difusão chamam atenção porque geram vários tokens em um único passe direto e podem escrever mais rápido do que os autorregressivos. Uma nova análise de dois desses modelos em 10 tarefas mostra que a velocidade deles varia bastante. No DiffusionGemma, um token para escrever um conto exige mais de três vezes mais passes do que um token para corrigir gramática. Duas respostas com o mesmo número de tokens podem custar cálculos completamente diferentes.

Por que copiar é mais barato do que criar

O mecanismo funciona assim: durante a geração, o modelo de difusão decide sozinho quantos passes gastar. Se parte do texto já está clara, ele fixa muitos tokens de uma vez. Se não está, faz mais iterações e refina o resultado.

Os autores compararam o custo por tarefa e encontraram um padrão nítido. Texto copiado da entrada ou editado de leve sai barato. Uma carta aberta custa caro. A correção gramatical é feita quase toda com material já conhecido, enquanto o conto precisa ser inventado do zero.

Duas propriedades do texto de saída explicam a diferença:

• a proporção de material novo em relação à entrada;
• a raridade das palavras dentro da tarefa específica.

Quanto mais conteúdo novo e incomum há na resposta, mais passes o modelo gasta em cada token.

A mesma lógica vale dentro de uma única resposta quando o modelo raciocina primeiro. Se a resposta final repete a própria cadeia de raciocínio, ela sai barata. Se acrescenta algo novo, o custo sobe. Ou seja, a vantagem computacional da difusão depende de quanto da saída já está definido.

O custo extra da tokenização na geração multilíngue

Outro resultado diz respeito aos idiomas. Aqueles que o tokenizador fragmenta em muitos pedaços exigem mais passes por token. Eles já pagam mais pelo volume em si, porque o texto nesses idiomas tem mais tokens. O resultado é uma carga dupla, e a diferença de custo de atendimento entre idiomas acaba sendo ainda maior do que o comprimento das sequências sugere.

Para empresas que vendem um mesmo modelo em dezenas de mercados, isso tem peso prático. A contagem por número de tokens subestima o custo real dos idiomas muito fragmentados quando a inferência é baseada em difusão.

Velocidade de decodificação como sinal de acerto

A parte mais aplicável do trabalho está ligada à qualidade. Em um mesmo problema de matemática, respostas erradas exigem mais passes por token do que as corretas. O modelo parece "hesitar" onde não tem certeza.

Os autores usaram isso como sinal: ponderaram as respostas candidatas pela velocidade de decodificação. Essa abordagem superou a simples votação por maioria em até 4,2 pontos. Ela não exige computação adicional, porque o número de passes já é conhecido durante a geração normal.

Principais métricas do estudo:

• modelos: dois de difusão, incluindo o DiffusionGemma;
• conjunto: 10 tarefas;
• conto versus correção de gramática: mais de 3 vezes mais passes por token;
• fatores de custo: novidade em relação à entrada e raridade das palavras na tarefa;
• ganho da ponderação por velocidade sobre a majority voting: até 4,2 pontos sem custo adicional.

O que mudar na inferência e no planejamento

Primeiro: não dá para orçar a inferência de difusão pelo comprimento da saída. É preciso avaliar o tipo de tarefa. Edição, paráfrase, formatação e extração de dados estruturados a partir da entrada caem na faixa barata. A geração de textos criativos longos cai na faixa cara, e um serviço com perfil de carga variado terá grande dispersão de latência e de custo.

Segundo: o número de passes pode ser registrado como telemetria. Um pico em uma requisição específica indica alto risco de erro, e faz sentido encaminhar essas respostas para nova verificação, nova amostragem ou revisão humana. Em tarefas de autoconsistência, nas quais são gerados vários candidatos, a ponderação por velocidade melhora o resultado sem custo adicional.

Terceiro: ao calcular o preço de produtos multilíngues, é preciso considerar os dois efeitos, o número de tokens e o número de passes por token. Do contrário, idiomas com tokenização pesada acabarão dando prejuízo sem que ninguém perceba.

A limitação do estudo é clara: são dois modelos e 10 tarefas. Mas a direção é evidente. As LLMs de difusão se saem melhor quando boa parte da resposta é previsível, e o próprio processo de decodificação carrega informação que quase ninguém usa até agora.