Seq-Drifting gera texto em uma única passada: perplexity de 36,01 no LM1B

Os modelos de linguagem baseados em difusão geram tokens em paralelo, mas ainda precisam de muitas etapas de amostragem para produzir texto de qualidade. Os autores do Seq-Drifting tentam eliminar essas etapas por completo: o gerador recebe ruído gaussiano e produz a sequência inteira em uma única passada direta. No benchmark LM1B, esse modo de passo único atinge generative perplexity de 36,01. O preprint foi publicado no arXiv (2610.12879) e o código está no GitHub.

Como funciona o campo de drift

Nos LMs de difusão convencionais, o sinal de treinamento para cada posição vem diretamente do token que ocupa aquele lugar na sequência de treino. O modelo aprende a reconstruir uma camada específica dos dados, e a qualidade surge por iteração: cada passo refina o anterior.

O Seq-Drifting age de outra forma. O método aplica drifting a sequências de representações contínuas de tokens e ensina diretamente o mapeamento do ruído para o texto. Para isso, constrói-se um campo de drift em que os alvos de cada posição dependem do contexto gerado até o momento, em vez de serem fixados de antemão por um único token de referência. Duas forças atuam em cada posição. A atração direciona a saída para um conjunto de representações de tokens plausíveis no contexto. A repulsão resolve dois problemas ao mesmo tempo: impede que as amostras colapsem umas sobre as outras e suprime repetições dentro de uma mesma sequência.

O campo é necessário apenas no treinamento. Na inferência, o gerador não recorre a nenhuma iteração e produz todos os tokens em conjunto, em uma única passada.

O que os experimentos mostraram

O principal resultado vem do LM1B, onde a geração em um passo atinge generative perplexity de 36,01. Segundo os autores, o modelo é competitivo tanto na geração incondicional quanto na condicional. Os pesquisadores também verificaram, em separado, se a abordagem funciona além da escrita livre: os experimentos cobrem tradução, sumarização e tarefas de raciocínio.

Principais parâmetros do trabalho:

• Modo de inferência: uma passada direta, todos os tokens em paralelo.
• Entrada do gerador: ruído gaussiano; saída: sequência de representações contínuas de tokens.
• Sinal de treinamento: campo de drift com atração para tokens plausíveis e repulsão contra colapso e repetições.
• Métrica: generative perplexity de 36,01 no LM1B.
• Tarefas: geração incondicional e condicional, tradução, sumarização, raciocínio.

O abstract deixa de fora alguns pontos importantes. Não há comparação numérica com baselines de difusão de múltiplos passos, não há medições de latência e não se informa qual modelo foi usado para calcular a perplexity. A generative perplexity é sensível à escolha do modelo avaliador e, por si só, não mostra a diversidade do texto. Esses detalhes só poderão ser conferidos no artigo completo.

Para quem isso é útil

O principal interesse prático está no custo de inferência. Se a qualidade de um LM de difusão depende do número de passos, cada passo multiplica o custo de chamar o modelo. Um gerador de passo único elimina esse multiplicador, ao menos em princípio, e para tarefas como tradução ou sumarização, com requisitos rígidos de latência, isso é um argumento forte.

Por enquanto, é um resultado de pesquisa. O LM1B é composto por frases curtas, e a validação em contextos longos, modelos maiores e tarefas de instrução ainda está por vir. Quem trabalha com LMs de difusão deve rodar o repositório aberto e verificar três pontos: como a qualidade muda com o comprimento da sequência, se a diversidade se mantém com uma única passada e o quanto o resultado depende dos parâmetros de repulsão. Se as respostas forem favoráveis, o Seq-Drifting se tornará um argumento de peso no debate sobre a necessidade de iterações em modelos de linguagem.