El equipo de Qwen lanza FlashQLA: hasta 3× más rápida la atención lineal en NVIDIA Hopper

El equipo de QwenLM ha lanzado FlashQLA, una biblioteca abierta de kernels que acelera hasta tres veces las operaciones de atención lineal en GPU con arquitectura NVIDIA Hopper. La biblioteca apunta a dos escenarios: el preentrenamiento a gran escala de modelos de lenguaje y la inferencia agéntica en dispositivos edge.

Qué es FlashQLA

FlashQLA optimiza los pases hacia delante y hacia atrás de la arquitectura Gated Delta Network (GDN) en modo Chunked Prefill. GDN es una variante de atención lineal: su complejidad computacional es O(n) respecto a la longitud del contexto, frente a O(n²) de los transformadores estándar. En la práctica, esto significa que los modelos basados en GDN pueden trabajar con contextos muy largos sin que el consumo de memoria se dispare.

El problema es que las ventajas teóricas no se traducen en velocidad real sin kernels eficientes de bajo nivel. FlashQLA cubre ese hueco.

El nombre alude a FlashAttention, la biblioteca que hizo práctica la atención cuadrática para secuencias largas mediante la optimización de memoria por teselas. FlashQLA resuelve un problema similar para las arquitecturas lineales: ofrece la capa de infraestructura sin la cual un enfoque teóricamente prometedor no produce cifras reales.

De dónde sale la aceleración de 3×

La mejora de rendimiento procede de una optimización profunda para NVIDIA Hopper (H100/H200), las GPU que dominan los centros de datos en la nube actuales. Hopper incluye unidades especializadas para lógica de cómputo recurrente y dispersa, que encajan bien con los requisitos de GDN.

La biblioteca cubre varios escenarios:

• Preentrenamiento a gran escala — un pase hacia atrás más rápido reduce el tiempo y el coste del entrenamiento
• Inferencia edge — ejecución eficiente sin una GPU potente en la nube, importante para el despliegue en dispositivos
• Chunked Prefill — dividir un contexto de entrada largo en bloques reduce el pico de consumo de memoria
• Inferencia agéntica — llamadas repetidas al modelo en un mismo flujo sin acumular latencia
• Arquitecturas híbridas — compatibilidad con modelos que combinan atención lineal y estándar

Antes de FlashQLA, los desarrolladores con arquitecturas GDN obtenían benchmarks flojos no por defectos de la arquitectura, sino por la falta de kernels optimizados. Eso daba la falsa impresión de que la atención lineal no era competitiva.

Qué buscan Alibaba y Qwen

El equipo Qwen de Alibaba Cloud es uno de los actores más activos en el desarrollo de LLM de código abierto. La serie de modelos Qwen amplía sus capacidades de forma constante: contexto largo, multimodalidad, versiones especializadas en código y matemáticas, y soporte para llamadas a herramientas.

FlashQLA es una apuesta de infraestructura, no solo un artefacto de investigación. Alibaba apuesta a que las arquitecturas lineales e híbridas ocuparán un nicho relevante en la próxima generación de LLM, sobre todo donde importan el contexto largo y la eficiencia de recursos. Que se centre en Hopper y no en generaciones anteriores de GPU apunta a escenarios de producción, no a condiciones de laboratorio.

Qué significa

FlashQLA es una señal de que las arquitecturas lineales pasan de la fase de investigación a la de ingeniería. Una aceleración de hasta 3× en hardware actual hace que los modelos GDN sean realmente competitivos frente a los transformadores en tareas de contexto largo e inferencia agéntica. Para los desarrolladores que trabajan con arquitecturas distintas de los transformadores, supone la llegada de herramientas sólidas, y no solo de promesas teóricas.