Lafa, modelo de 8B de parâmetros, acelera a geração de texto em 2,54 vezes sem perder qualidade

Os modelos de linguagem de fluxo contínuo abrem um caminho fundamentalmente novo para a geração paralela de texto. Diferente dos modelos autorregressivos tradicionais, que geram tokens de forma sequencial, os fluxos oferecem ferramentas de controle e aceleração que as abordagens de difusão discreta não conseguem alcançar. Até agora, porém, métodos eficientes para construir esse tipo de modelo na escala de bilhões de parâmetros permaneciam pouco explorados.

Pesquisadores apresentaram o Lafa (Large flow language model), o primeiro modelo de fluxo rápido e de alto desempenho escalado para 8 bilhões de parâmetros de forma eficiente em dados. O trabalho mostra que a geração por fluxo pode ser uma alternativa prática à modelagem autorregressiva em escala industrial.

Arquitetura e design

O Lafa usa uma arquitetura inovadora de fluxo em blocos. No prefixo, aplica-se atenção causal (como nos transformers padrão), enquanto dentro de cada bloco é implementado um fluxo bidirecional assíncrono. Essa abordagem híbrida atinge dois objetivos críticos simultaneamente: treinamento eficiente, ao adaptar modelos autorregressivos pré-treinados, e inferência rápida, graças ao cache de prefixo e à decodificação paralela em blocos.

Adaptar modelos AR já existentes significa que os pesquisadores não precisaram treinar o Lafa do zero — eles conseguiram reaproveitar pesos já treinados, o que reduziu significativamente os custos computacionais.

Treinamento e escalonamento

Os autores treinaram o Lafa em três variantes de escala: • 0,5B parâmetros — uma versão leve para dispositivos com recursos limitados • 7B parâmetros — uma opção intermediária que equilibra desempenho e velocidade • 8B parâmetros — a versão completa, para qualidade máxima

As três variantes foram treinadas com menos de 30 bilhões de tokens. Para comparação, os modelos de difusão típicos exigem muito mais dados. Essa eficiência resolve um dos principais problemas dos modelos de fluxo: os altos custos de treinamento.

Avaliação de qualidade e tarefas práticas

O Lafa foi avaliado sistematicamente em três categorias de tarefas que determinam a utilidade prática de um modelo de linguagem: • Seguimento de instruções — com que precisão o modelo executa instruções do usuário • Raciocínio — a capacidade de inferência lógica e resolução de problemas matemáticos • Programação — geração, análise e depuração de código-fonte

Em todas essas tarefas, a geração por fluxo do Lafa iguala ou supera a qualidade dos modelos autorregressivos tradicionais. Além disso, o modelo pode ser destilado em flow maps — representações compactas para geração em uma única etapa ou em múltiplas etapas —, o que abre caminho para variantes ainda mais rápidas.

Decodificação auto-especulativa: a chave para a aceleração

Uma descoberta crítica dos autores é que o treinamento por fluxo não destrói as capacidades autorregressivas do modelo original — pelo contrário, ele as melhora graças ao efeito de predição multi-token. Os pesquisadores transformaram essa ideia em um esquema de decodificação auto-especulativa: os rascunhos de fluxo são verificados de forma autorregressiva dentro de um único modelo, sem a necessidade de alternar entre modelos diferentes.

O resultado é impressionante: o Lafa alcança uma aceleração de 2,54 vezes no throughput em relação a um modelo autorregressivo padrão, com qualidade comparável. Isso supera tanto os métodos especializados de predição multi-token quanto as abordagens de difusão discreta.

O que isso significa para a modelagem de linguagem

Os resultados obtidos demonstram que os fluxos contínuos estão prontos para aplicação industrial. Os modelos de fluxo deixaram de ser apenas uma abordagem experimental — eles podem servir como base completa e escalável para a modelagem de linguagem do futuro, combinando a velocidade da geração paralela com a qualidade das abordagens autorregressivas.