Les modèles hybrides prédisent mieux les mots porteurs de sens que les transformers, selon Allen AI

L'équipe d'Allen AI (Ai2) a identifié sur quels tokens les modèles de langage hybrides surpassent les transformers, et où cet avantage disparaît. Les auteurs ont comparé OLMo 3 (un transformer) et OLMo Hybrid dans des conditions d'entraînement identiques, afin d'isoler l'effet purement architectural.

Transformer contre hybride

La question centrale de l'étude : qu'est-ce qui change dans le comportement d'un modèle quand une partie de ses couches d'attention est remplacée par des couches récurrentes ? Les deux modèles ont été entraînés sur les mêmes données : articles, pages Wikipédia, livres, travaux scientifiques, code, HTML et LaTeX. L'écart de fonction de perte lors de la prédiction du token suivant (le « loss gap ») a été mesuré non pas en moyenne, mais par catégorie.

La différence fondamentale entre les architectures :

• Transformer : il accède à chaque token précédent via le mécanisme d'attention. C'est précis, mais coûteux en calcul : le coût augmente avec la longueur du contexte.
• Hybride : il alterne couches d'attention et couches récurrentes. Ces dernières conservent un « instantané » de taille fixe de l'historique, à coût de calcul constant, quelle que soit la longueur de la séquence.

Le composant récurrent est efficace quand il importe de suivre l'évolution de l'information. L'attention est irremplaçable quand il faut rappeler précisément un token donné du passé.

Où l'hybride l'emporte

Un schéma net est apparu sur tous les types de texte : le modèle hybride prédit plus précisément les mots porteurs de sens (noms, verbes, adjectifs). Le loss gap en sa faveur sur ces tokens est d'environ 0,04, tandis que sur les mots outils (prépositions, articles, conjonctions) l'écart est deux fois plus faible : 0,02. Le transformer reste compétitif là où il suffit de saisir une régularité grammaticale de surface.

Pour comprendre l'origine de cet avantage, les chercheurs ont aussi comparé trois architectures sur des modèles de 1B paramètres : un transformer, un hybride et un modèle entièrement récurrent sans couches d'attention. Résultat sur les tokens porteurs de sens, sans répétition lexicale :

• L'hybride comme le modèle purement récurrent ont devancé le transformer.
• Des deux, l'hybride arrive en tête.
• Le modèle purement récurrent, sans attention, a pris du retard sur les deux autres sur les passages répétés.

Cela suggère que les couches récurrentes apportent à elles seules l'avantage sur les tokens porteurs de sens, tandis que la présence de couches d'attention comble le point faible du récurrent : la copie exacte de texte.

Où l'avantage disparaît

Appariement des parenthèses. Le transformer et l'hybride prédisent les parenthèses ou crochets fermants, dans le code ou le texte mathématique, avec une précision quasi identique. Il suffit de regarder en arrière via l'attention et de retrouver l'ouvrant correspondant ; le composant récurrent n'apporte aucun gain.

N-grammes répétés. Plus le passage que le modèle reproduit littéralement à partir d'un texte déjà rencontré est long, plus l'écart en faveur de l'hybride se réduit. Sur les longues séquences, il tend vers zéro. Les modèles purement récurrents perdent face aux deux autres architectures sur ces répétitions : « se souvenir » précisément d'une séquence donnée, c'est exactement à cela que sert l'attention.

« L'hybride OLMo est plus performant sur les tokens porteurs de sens :

noms, verbes et adjectifs », indiquent les auteurs, ajoutant que cet avantage diminue lors de la reproduction de texte répété.

Ce que cela signifie

Une métrique agrégée (la fonction de perte globale) masque les différences architecturales : seul le filtrage par catégorie de tokens montre où précisément une approche l'emporte sur l'autre. L'équipe d'Allen AI compte intégrer ces résultats dans le développement futur des architectures hybrides, en optimisant des composants précis plutôt que des chiffres moyennés.