Lyubomir Gorbatko presenta Sessa, una alternativa a los transformers y a Mamba

Habr ha publicado un análisis de la arquitectura Sessa, un intento de replantear los modelos decoder-only y ofrecer una alternativa a la combinación habitual de Transformer y Mamba. El autor no promete un sustituto listo para los líderes del mercado. Muestra algo más básico: distintos decodificadores pueden describirse desde una base común y compararse con honestidad según cómo almacenan y recuperan información de un contexto largo.

El artículo avanza de lo simple a lo complejo. Primero, el autor deriva de nuevo el Transformer, no como un conjunto de bloques conocidos, sino como una evolución de la convolución convencional. La idea es que una ventana fija y coeficientes fijos chocan pronto con sus límites: ese mezclador solo ve el contexto local y se adapta mal a la tarea.

Si los pesos dependen de la entrada y luego se normalizan con softmax, surge de forma natural la atención. En esta interpretación, la fortaleza del transformer es la comparación flexible del token actual con los anteriores, pero su coste es conocido: el cálculo se encarece al crecer la longitud de la secuencia y, en el régimen difuso, la atención retiene peor un elemento lejano concreto.

Después el artículo pasa a S4D y Mamba. Aquí el autor aborda el problema como una cuestión de memoria: en lugar de releer todo el prefijo cada vez, el modelo puede acumular el pasado en un estado interno. Este enfoque elimina parte de los problemas de la atención y abarata el trabajo con secuencias largas. Pero tiene su propio límite. Según el autor, Mamba funciona bien cuando el mecanismo selective state space sabe «congelar» el estado a tiempo y conservar la señal necesaria. Si ese régimen se reconoce mal, sobre todo en secuencias ruidosas o muy largas, la influencia de los tokens antiguos decae de forma exponencial y la recuperación puntual de la información necesaria se vuelve menos fiable.

En este contexto, Sessa se presenta como una variante híbrida. El autor propone combinar dos ideas: mantener una adaptabilidad similar a la de la atención y añadir feedback, es decir, retroalimentación controlable a través de estados pasados. Dentro de la capa hay dos ramas: forward, que reúne información del prefijo, y feedback, que reutiliza los estados ya acumulados.

La clave es que los coeficientes de ambas ramas dependen del token actual y de la longitud de la secuencia, de modo que el modelo obtiene un mecanismo de memoria más flexible que el del Transformer clásico y un acceso más directo al historial que el de Mamba. En esencia, es un intento de incrustar la atención dentro de un circuito recurrente, en lugar de mantener ambos enfoques en bandos opuestos.

El énfasis principal del artículo no está en el lema «hemos vencido a los transformers», sino en la comparación de regímenes de memoria. El autor examina un escenario controlado en el que a los modelos les cuesta enfocarse con precisión en un token concreto. En ese régimen, la influencia de los tokens lejanos decae aproximadamente como el inverso de la distancia en Transformer, de forma exponencial en Mamba y más despacio en Sessa, cuya cola se atenúa de manera más gradual. En teoría, eso da una recuperación más estable a larga distancia. En una configuración multicapa, Sessa puede incluso, según el autor, sostener perfiles de retrieval sin degradación con la distancia.

Junto con la publicación en Habr se han divulgado un trabajo en arXiv y el código, y el propio estudio declara experimentos comparables con contexto largo. Aun así, el autor señala con claridad el límite actual del resultado: por ahora es sobre todo teoría e hipótesis arquitectónica, y el siguiente paso importante es entrenar a escala de varios miles de millones de parámetros y probar fuera de regímenes cuidadosamente controlados.

En resumen, el material interesa no solo por Sessa, sino por cómo lo explica. Reduce Transformer, Mamba y la nueva arquitectura a un esquema común y muestra dónde divergen exactamente sus propiedades de memoria. Para quien siga la carrera de los modelos de contexto largo, es una señal importante: una alternativa notable a los transformers puede surgir no de abandonar por completo la atención, sino de combinarla con una memoria recurrente más expresiva.