Stanford e Together AI ensinam LLMs a escrever texto a partir de um plano: geração até 31 vezes mais rápida

Uma equipe de Stanford e Together AI propôs um método de geração de texto que não se encaixa nem na autorregressão nem na difusão. O modelo primeiro esboça o “sumário” da resposta e, em seguida, o preenche com detalhes, passo a passo. Segundo os autores, a abordagem acelera a geração em até 31 vezes. A informação é do veículo chinês Jiqizhixin.

De onde veio a ideia

A base do método é o VAR (Visual Autoregressive Modeling), trabalho premiado como melhor artigo do NeurIPS 2024. Na geração de imagens, o VAR abandonou a varredura clássica da imagem por pixels ou tokens. Em vez disso, o modelo prevê a “próxima escala”: primeiro uma versão muito grosseira do quadro e, depois, versões cada vez mais detalhadas. Cada passo refina o anterior, e dentro de uma mesma escala os tokens podem ser calculados em paralelo.

Os pesquisadores de Stanford e os engenheiros da Together AI transferiram esse princípio para o texto. Em resumo, trata-se de uma geração “de cima para baixo”: primeiro a estrutura e os significados-chave, depois as palavras concretas.

No que isso difere dos esquemas habituais

As LLMs atuais escrevem da esquerda para a direita, token a token. Cada nova palavra depende de todas as anteriores, o que limita seriamente a velocidade: cada passagem gera um único token, não importa quantas GPUs haja no rack. Os modelos de linguagem baseados em difusão tentam contornar essa limitação. Eles partem de “ruído” ou de texto mascarado e o esclarecem iterativamente, por inteiro. Mas esse caminho tem problemas próprios de qualidade e de controle do tamanho da resposta.

A terceira via descrita pelos autores toma algo de cada um dos dois esquemas. Como na autorregressão, o processo segue uma ordem bem definida, só que ela percorre níveis de detalhamento, e não posições na linha. Como na difusão, muitos tokens são atualizados de uma só vez a cada passo. Daí vem o ganho de velocidade declarado.

A participação da Together AI é reveladora. A empresa ganha dinheiro com inferência de modelos abertos, e para ela cada passagem a menos pelo modelo se converte em receita. Hoje, o que limita a velocidade de geração é a natureza sequencial da decodificação, e não a quantidade de FLOPS.

Parâmetros-chave

• Autores: Stanford University e Together AI
• Ideia de origem: “previsão da próxima escala” do VAR (NeurIPS 2024, melhor artigo)
• Princípio: primeiro um plano ou esboço grosseiro do texto, depois refinamento por níveis
• Aceleração declarada: até 31x
• Posicionamento: terceiro paradigma, ao lado da autorregressão e da difusão

O que falta na divulgação

Pelo trecho disponível da publicação, algumas questões que determinam toda a avaliação ficam em aberto. Não foi informada a linha de base usada para o ganho de 31 vezes. Uma coisa é comparar com a geração token a token comum, sem otimizações; outra é comparar com inferência moderna, com decodificação especulativa e batching. Também não há dados sobre o tamanho dos modelos, o comprimento dos textos e a qualidade em benchmarks padrão. O número “até 31 vezes” deve ser lido como o melhor caso, e não como o típico.

Há ainda uma questão arquitetural. Em imagens, as escalas surgem de forma natural: a versão reduzida de uma imagem continua sendo uma imagem. O texto não tem “resolução grosseira”, e a forma como os autores definem os níveis do plano é o principal ponto a ser verificado.

O que os profissionais devem observar

Por enquanto, é um trabalho de pesquisa, não um produto, e ainda é cedo para apostar nele em produção. Mas vale acompanhar. Quando sair o artigo com o código, convém olhar três pontos: a qualidade em tarefas de raciocínio longo e de código, em que um erro no plano estraga todo o resto; a estabilidade no seguimento de instruções; e a aceleração real nas mesmas GPUs, com qualidade comparável. Se o ganho se mantiver em respostas de milhares de tokens, os engenheiros ganham uma nova alavanca além da quantização e da decodificação especulativa. Se não, sobra um experimento curioso mostrando que ideias da visão computacional migram bem para a linguagem.