Lafa, un modelo de 8.000 millones de parámetros, acelera la generación de texto 2,54 veces sin perder calidad

Los modelos de lenguaje de flujo continuo abren un camino fundamentalmente nuevo hacia la generación paralela de texto. A diferencia de los modelos autorregresivos tradicionales, que generan tokens de forma secuencial, los flujos ofrecen herramientas de control y aceleración que los enfoques de difusión discreta no pueden igualar. Sin embargo, hasta ahora los métodos eficientes para construir este tipo de modelos a escala de miles de millones de parámetros habían sido poco explorados.

Un equipo de investigadores presentó Lafa (Large flow language model), el primer modelo de flujo rápido y de alto rendimiento escalado a 8.000 millones de parámetros de forma eficiente en datos. El trabajo demuestra que la generación por flujo puede ser una alternativa práctica al modelado autorregresivo a escala industrial.

Arquitectura y diseño

Lafa utiliza una arquitectura innovadora de flujo por bloques. En el prefijo se aplica atención causal (como en los transformadores estándar), mientras que dentro de cada bloque se implementa un flujo bidireccional asíncrono. Este enfoque híbrido logra dos objetivos críticos a la vez: un entrenamiento eficiente al adaptar modelos autorregresivos preentrenados, y una inferencia rápida gracias al almacenamiento en caché del prefijo y la decodificación paralela por bloques.

Adaptar modelos AR ya existentes significa que los investigadores no necesitaron entrenar Lafa desde cero: pudieron reutilizar pesos ya entrenados, lo que redujo significativamente los costes computacionales.

Entrenamiento y escalado

Los autores entrenaron Lafa en tres variantes de escala: • 0,5B parámetros: una versión ligera para dispositivos con recursos limitados • 7B parámetros: una opción de escala intermedia que equilibra rendimiento y velocidad • 8B parámetros: la versión completa para máxima calidad

Las tres variantes se entrenaron con menos de 30.000 millones de tokens. Para comparar, los modelos de difusión habituales requieren muchos más datos. Esta eficiencia resuelve uno de los problemas clave de los modelos de flujo: los altos costes de entrenamiento.

Evaluación de calidad y tareas prácticas

Lafa se evaluó sistemáticamente en tres categorías de tareas que determinan la utilidad práctica de un modelo de lenguaje: • Seguimiento de instrucciones: con qué precisión el modelo ejecuta las instrucciones del usuario • Razonamiento: la capacidad de inferencia lógica y resolución de problemas matemáticos • Programación: generación, análisis y depuración de código fuente

En todas estas tareas, la generación por flujo de Lafa iguala o supera la calidad de los modelos autorregresivos tradicionales. Además, el modelo puede destilarse en flow maps, representaciones compactas para generación en un solo paso o en varios pasos, lo que abre la puerta a variantes aún más rápidas.

Decodificación auto-especulativa: la clave de la aceleración

Uno de los hallazgos críticos de los autores es que entrenar con flujos no destruye las capacidades autorregresivas del modelo original, sino que incluso las mejora gracias al efecto de predicción multi-token. Los investigadores plasmaron esta idea en un esquema de decodificación auto-especulativa: los borradores de flujo se verifican de manera autorregresiva dentro de un único modelo, sin necesidad de alternar entre modelos distintos.

El resultado es notable: Lafa logra una aceleración de 2,54 veces en throughput respecto a un modelo autorregresivo estándar, con una calidad comparable. Esto supera tanto a los métodos especializados de predicción multi-token como a los enfoques de difusión discreta.

Qué significa esto para el modelado del lenguaje

Los resultados obtenidos demuestran que los flujos continuos están listos para su aplicación industrial. Los modelos de flujo ya no son solo un enfoque experimental: pueden servir como una base completa y escalable para el modelado del lenguaje del futuro, combinando la velocidad de la generación paralela con la calidad de los enfoques autorregresivos.