STILL, de HIT Shenzhen: atención híbrida dentro de la capa que elige tokens según su contenido

La complejidad cuadrática de la atención softmax sigue siendo la principal limitación de los modelos con contexto largo: su coste crece como O(n²) respecto a la longitud de la secuencia. Un equipo del Instituto de Tecnología de Harbin (campus de Shenzhen) propone en NeurIPS 2026 la arquitectura STILL, a la que describe como la primera atención híbrida intracapa que tiene en cuenta el contenido. El primer autor es el doctorando Meng Weikang, que trabaja en arquitecturas eficientes y en atención lineal e híbrida. El autor de correspondencia es el profesor Zhang Zheng. La investigación fue publicada por Jiqizhixin.

Solo disponemos del fragmento introductorio del material. No contiene métricas concretas de calidad ni de velocidad, así que a continuación analizamos la idea, no los resultados.

Por qué algunos híbridos se llaman «pseudohíbridos»

La atención lineal es barata: su coste crece de forma lineal con la longitud del contexto. Pero comprime el historial en un estado de tamaño fijo y recupera peor los detalles exactos. Por eso la industria combina ambos mecanismos. El esquema más extendido es el intercapa: la mayoría de las capas son lineales y la atención softmax completa aparece cada cierto número de capas. Jamba, MiniMax-01 y Qwen3-Next, por ejemplo, siguen este principio.

Los híbridos intracapa reparten el trabajo dentro de una misma capa. La variante típica aplica atención exacta en una ventana local alrededor del token actual y deja todo lo demás a un mecanismo lineal. A juzgar por el título, los autores de STILL consideran que este diseño es una «pseudohibridación» posicional: la decisión de qué tokens merecen un procesamiento exacto se toma por distancia, no por lo que dicen los tokens. Una cifra o un nombre importantes al principio de un documento largo acaban así en la rama «barata», al mismo nivel que el ruido.

Qué propone STILL

La afirmación clave es que el reparto entre atención exacta y lineal dentro de la capa se determina por el contenido. El fragmento disponible no revela cómo funciona exactamente el mecanismo de selección. Podría ser un router entrenable, una estimación de la importancia de los tokens u otro esquema. Los detalles habrá que consultarlos en el artículo.

Hasta ahora, los datos públicos permiten saber lo siguiente:

• Conferencia: NeurIPS 2026.
• Nombre de la arquitectura: STILL.
• Tipo: híbrido intracapa de atención softmax y lineal.
• Diferencia con sus predecesores: selección por el contenido de los tokens, no por su posición.
• Institución: Instituto de Tecnología de Harbin (Shenzhen).
• Métricas de perplejidad, longitud de contexto y aceleración: no se incluyen en el fragmento disponible.

Qué comprobar al leer el artículo

El enfoque intracapa tiene una ventaja práctica. No obliga a cambiar la estructura de la pila de capas y, en teoría, da a cada capa acceso a ambos modos. Pero la selección de tokens por contenido tiene un coste: el enrutamiento dinámico es más difícil de acelerar con cuidado en GPU que una ventana estática. Aquí los kernels y el rendimiento (throughput) pesan tanto como la complejidad teórica.

A quién le interesa ahora mismo: a los equipos que entrenan o ajustan modelos para contexto largo y comparan esquemas híbridos. Qué mirar en el artículo y en el código:

• Cómo se comporta STILL en tareas de extracción exacta (needle-in-a-haystack, retrieval) frente a modelos puramente lineales.
• La velocidad real en secuencias largas, y no solo la complejidad asintótica.
• La comparación con híbridos intercapa con el mismo presupuesto de parámetros y de entrenamiento.
• Si existe una implementación abierta y si es compatible con los frameworks actuales.

Por ahora, esto es una propuesta para el siguiente paso en las arquitecturas de contexto largo. El veredicto dependerá de unas cifras que la parte introductoria no incluye.