Lyubomir Gorbatko présente Sessa, une alternative aux transformers et à Mamba

Habr a publié une analyse de l'architecture Sessa, une tentative de repenser les modèles decoder-only et de proposer une alternative au duo habituel Transformer et Mamba. L'auteur ne promet pas un remplaçant prêt à l'emploi pour les leaders du marché. Il montre quelque chose de plus fondamental : différents décodeurs peuvent se décrire à partir d'une base commune, puis se comparer honnêtement sur la façon dont ils stockent et récupèrent l'information d'un contexte long.

L'article va du simple au complexe. L'auteur commence par redériver le Transformer, non comme un assemblage de blocs familiers, mais comme le prolongement de la convolution ordinaire. L'idée : une fenêtre fixe et des coefficients fixes atteignent vite leurs limites, car un tel mélangeur ne voit que le contexte local et s'adapte mal à la tâche. Si les poids dépendent de l'entrée, puis sont normalisés par softmax, l'attention apparaît naturellement. Dans cette lecture, la force du transformer est la comparaison souple du token courant avec les précédents, mais son prix est connu : le calcul coûte de plus en plus cher à mesure que la séquence s'allonge et, en régime diffus, l'attention retient moins bien un élément lointain précis.

L'article passe ensuite à S4D et Mamba. L'auteur y traite le problème sous l'angle de la mémoire : au lieu de relire tout le préfixe à chaque fois, le modèle peut accumuler le passé dans un état interne. Cette approche écarte une partie des problèmes de l'attention et rend les longues séquences moins coûteuses. Mais elle a sa propre limite. Selon l'auteur, Mamba fonctionne bien quand le mécanisme selective state space sait « geler » l'état au bon moment et conserver le signal utile. Si ce régime est mal reconnu, surtout sur des séquences bruitées ou très longues, l'influence des anciens tokens décroît de façon exponentielle et la récupération ciblée de l'information utile devient moins fiable.

Dans ce contexte, Sessa est présentée comme une variante hybride. L'auteur propose de combiner deux idées : conserver une adaptabilité proche de celle de l'attention et ajouter du feedback, c'est-à-dire une rétroaction contrôlable passant par les états passés. Dans la couche, on trouve deux branches : forward, qui rassemble l'information du préfixe, et feedback, qui réutilise les états déjà accumulés.

Le point clé est que les coefficients des deux branches dépendent du token courant et de la longueur de la séquence. Le modèle obtient ainsi un mécanisme de mémoire plus souple que celui du Transformer classique et un accès plus direct à l'historique que celui de Mamba. En somme, il s'agit d'intégrer l'attention dans une boucle récurrente plutôt que de laisser ces approches dans des camps opposés.

L'accent principal de l'article n'est pas le slogan « nous avons battu les transformers », mais la comparaison des régimes de mémoire. L'auteur étudie un scénario contrôlé où les modèles ont du mal à se concentrer précisément sur un seul token utile. Dans ce régime, l'influence des tokens lointains décroît à peu près comme l'inverse de la distance pour Transformer, de façon exponentielle pour Mamba, et plus lentement pour Sessa, dont la queue s'atténue plus graduellement. En théorie, cela donne une récupération plus stable sur longue distance. Dans une configuration multicouche, Sessa peut même, d'après l'auteur, maintenir des profils de retrieval sans dégradation avec la distance.

Un article sur arXiv et le code ont été publiés en parallèle du billet Habr, et l'étude elle-même annonce des expériences comparables sur contexte long. L'auteur indique toutefois clairement la limite actuelle du résultat : pour l'instant, il s'agit avant tout de théorie et d'hypothèse architecturale, et la prochaine étape importante sera un entraînement à l'échelle de plusieurs milliards de paramètres, avec des tests hors des régimes soigneusement contrôlés.

En bref, ce texte intéresse non seulement pour Sessa, mais aussi pour sa manière d'expliquer. Il ramène Transformer, Mamba et la nouvelle architecture à un schéma commun et montre où leurs propriétés de mémoire divergent exactement. Pour qui suit la course aux modèles à contexte long, c'est un signal important : une alternative notable aux transformers pourrait venir non d'un abandon complet de l'attention, mais de son association avec une mémoire récurrente plus expressive.