T-Tech met au point LIMe, une méthode qui réduit de 15% le coût de calcul de l'entraînement d'un modèle de langage

Des chercheurs de T-Tech ont présenté à la conférence EMNLP 2026 la méthode LIMe, qui permet d'entraîner des modèles de langage avec environ 15% de calcul en moins. Ce chiffre provient du résultat suivant : un modèle d'environ un milliard de paramètres équipé de LIMe a atteint la même perte d'entraînement que le LLaMA de référence, pour un coût de calcul inférieur de 15%. La perte d'entraînement (training loss) mesure à quel point le modèle prédit mal les données pendant l'entraînement. Les performances sur les benchmarks n'ont pas baissé. EMNLP fait partie des conférences A*, et se tient cette année en Hongrie.

Pourquoi les tokens se ressemblent de plus en plus

Dans un transformeur, chaque couche s'appuie uniquement sur l'état caché de la couche précédente. L'état caché est un ensemble de nombres dans lequel le modèle stocke sa représentation courante de chaque token. Tout le contexte doit passer par lui.

Les auteurs montrent que cette contrainte pousse les représentations vers l'effondrement. Les tokens deviennent trop semblables, les différences entre eux s'estompent, et la qualité s'érode avec elles.

Comment fonctionne LIMe

LIMe est l'abréviation de Layer-Integrated Memory. Il s'agit d'une extension légère du mécanisme d'attention. Le modèle conserve déjà, pour chaque couche, des buffers key-value : les clés et les valeurs avec lesquelles travaillent les têtes d'attention. LIMe exploite ces buffers existants et leur ajoute des poids de routage apprenables. Chaque tête et chaque couche dispose de ses propres poids.

Grâce à eux, une tête d'attention peut récupérer les représentations non seulement de la couche précédente, mais aussi de couches plus anciennes, et les mélanger. La taille de l'état caché n'augmente pas, et les calculs déjà effectués sont réutilisés.

Ce que montrent les expériences

Les tests ont porté sur des modèles d'environ un milliard de paramètres. Voici les résultats :

• même perte d'entraînement que le LLaMA de référence, avec un coût inférieur de 15% ;
• sur les benchmarks de modélisation du langage et de raisonnement multi-étapes, LIMe a devancé les autres approches ;
• le gain le plus net a été observé sur des tâches arithmétiques synthétiques et dans les architectures comptant beaucoup de couches.

Les auteurs ont aussi vérifié la cause de ces gains. Avec LIMe, l'entropie des vecteurs de valeurs est plus élevée (c'est-à-dire que ces vecteurs portent une information plus diversifiée) et les tokens se séparent mieux. Selon eux, le principal problème, l'effondrement des représentations, est bien atténué.

Ils ont également examiné les poids de routage appris. Ceux-ci montrent que le modèle réutilise de façon systématique des caractéristiques à la fois locales et distantes.

Où consulter

La description de la méthode est publiée sur arXiv (https://arxiv.org/abs/2502.09245). Les auteurs ont mis en ligne l'implémentation complète sur GitHub : https://github.com/corl-team/lime.