LISA: la atención dispersa acelera un 50% el razonamiento largo de los LLM sin reentrenamiento

Un grupo de investigadores ha presentado LISA (Linear-Indexed Sparse Attention), un módulo que sustituye el mecanismo de atención y que, en julio de 2026, mostró una aceleración de la inferencia del 50% con un contexto de 16 mil tokens y una mejora del 5,6% en la calidad del razonamiento, sin requerir entrenar el modelo desde cero. El trabajo está publicado en arXiv (2607.19358).

Cómo funciona LISA

LISA se integra en un modelo existente como reemplazo plug-and-play del self-attention estándar y combina dos ramas paralelas. La primera es Linear Attention, con complejidad O(n), que se encarga de la «memoria a largo plazo» y de las dependencias lejanas. La segunda es el mecanismo Lightning Indexer, que selecciona los top-M tokens más importantes de todo el contexto y los pasa a Sparse Self-Attention. Ambas ramas se fusionan mediante un mecanismo de gating.

• Nombre: LISA (Linear-Indexed Sparse Attention), preprint arXiv 2607.19358
• La complejidad de la inferencia baja de O(n²) a O(nM), donde M es mucho menor que n
• Dos componentes: Linear Attention (memoria O(n)) + Lightning Indexer + Sparse Self-Attention
• No requiere preentrenamiento desde cero: el módulo se integra en un modelo ya entrenado
• Pruebas realizadas en modelos DeepSeek-distilled-Qwen

Por qué importa para la inferencia

El self-attention estándar tiene complejidad cuadrática O(n²), por lo que el coste de la inferencia se dispara con las secuencias largas. Esto se ha convertido en un cuello de botella para los modelos con cadenas de razonamiento largas (long chain-of-thought) como DeepSeek-R1: el paradigma de test-time scaling los obliga a generar contextos de razonamiento cada vez más extensos, y los costes crecen con ellos. Según los autores, esto es precisamente lo que limita el despliegue en producción de los modelos long-CoT.

LISA aborda el problema desde la arquitectura, no con hardware más potente. Al sustituir parte de la atención completa por atención dispersa y lineal, el método pasa la generación de n tokens del régimen O(n²) al régimen O(nM), con un M (el número de tokens seleccionados) claramente menor que la longitud del contexto n.

Qué mostraron las pruebas

En modelos de la familia DeepSeek-distilled-Qwen, LISA logró un 50% de aceleración de la inferencia con un contexto de 16K tokens y, al mismo tiempo, elevó un 5,6% el resultado medio en benchmarks de razonamiento, entre ellos AIME y MATH-500. Es decir, el método no solo acelera, sino que tampoco pierde calidad.

El entrenamiento se divide en dos etapas. En la primera, se integra en el modelo la atención lineal para las dependencias lejanas, complementada con un mecanismo de ventana deslizante (sliding-window); se optimiza mediante destilación de conocimiento para aproximar la distribución del self-attention completo de un modelo maestro «congelado». En la segunda etapa, el Indexer sustituye a la ventana deslizante estática y se entrena con una nueva función de pérdida, una divergencia KL por cabezal (per-head), que alinea su selección de tokens con los patrones de atención del maestro.

«LISA ofrece un 50% de aceleración de la inferencia con un contexto de

16K tokens y, al mismo tiempo, mejora un 5,6% el resultado medio en benchmarks de razonamiento, incluidos AIME y MATH-500», señala el resumen del estudio en arXiv.

Qué significa

El razonamiento largo es caro precisamente por la atención cuadrática, y LISA muestra una vía para abaratarlo sin reentrenar el modelo desde cero: basta con integrar el módulo en una red ya entrenada. Para los equipos que despliegan modelos de razonamiento en producción, es una forma directa de recortar los costes de inferencia sin sacrificar precisión.

Preguntas frecuentes

¿Qué es LISA?

LISA (Linear-Indexed Sparse Attention) es un módulo que sustituye el mecanismo de atención de los modelos de lenguaje. Combina atención lineal con atención dispersa que selecciona los tokens importantes, y reduce la complejidad de la inferencia de O(n²) a O(nM).

¿Hay que reentrenar el modelo para usar LISA?

No, no hace falta entrenar desde cero. LISA es un reemplazo plug-and-play del self-attention: se integra en un modelo ya entrenado y se ajusta en dos etapas mediante destilación de conocimiento desde un modelo maestro.

¿Cuánto acelera LISA la inferencia?

Según el resumen del estudio, en modelos DeepSeek-distilled-Qwen el método logra un 50% de aceleración de la inferencia con un contexto de 16K tokens y, además, eleva un 5,6% la calidad media del razonamiento en los benchmarks AIME y MATH-500.