MemT-1.0 intègre la mémoire au modèle lui-même : un stockage 66 fois plus petit avec 128K tokens

Les auteurs de MemT-1.0 proposent d'arrêter de béquiller le modèle de langage avec des stockages externes et de faire de la mémoire une partie du calcul du réseau lui-même. Avec 128K tokens d'historique, le plus petit modèle de la famille, MemT-1.0-Nano, affiche une accélération d'environ 1,86 fois de l'inférence de bout en bout et réduit le stockage permanent de 66 fois par rapport à un KV-cache complet. Deux modèles ont été publiés, Nano et Flash, et l'entraînement s'appuie sur 34B tokens de données.

La mémoire comme partie du calcul

La plupart des systèmes actuels traitent le problème du contexte long de deux façons. La première consiste à traîner le KV-cache complet, qui grossit avec l'historique. La seconde passe par le retrieval : chercher les fragments utiles dans une base externe et les injecter dans le prompt. Les deux approches ont un coût : de la mémoire ou de la latence dans le premier cas, de la complexité architecturale et une dépendance à la qualité de la recherche dans le second.

MemT-1.0 emprunte une troisième voie, que les auteurs appellent memory-native evolution. Pour eux, la mémoire doit être une capacité native du foundation model, qui lui permet d'accumuler de l'information en continu et de l'exploiter. L'architecture est construite sur Metis et utilise Gated DeltaNet-2, un mécanisme à mise à jour stable de la mémoire au niveau des tokens, à l'intérieur de chaque tour de dialogue. Pour étendre la capacité, les auteurs ajoutent Mixture-of-Storage : la mémoire native grandit ainsi sans gonfler le contexte.

Comment le modèle a été entraîné

Avant l'entraînement principal, l'équipe a mené une préparation distincte du backbone. Un pipeline en deux étapes a suivi : continued pre-training, puis post-training. Le volume total de données atteint 34B tokens, ce qui est modeste pour ce type de travaux et indique que le modèle a été réentraîné à partir d'une base existante, et non entraîné à partir de zéro. Les auteurs mentionnent par ailleurs une infrastructure spécialisée pour l'entraînement et l'inférence efficaces, dont le résumé ne détaille pas les caractéristiques.

Ce que montrent les mesures

L'évaluation couvre à la fois les capacités de mémoire et les compétences générales du modèle. Voici les principaux résultats tirés de la description du travail :

• en moyenne, MemT-1.0 surpasse les baselines à mémoire paramétrique ;
• il reste compétitif face aux méthodes fondées sur le retrieval-augmented generation ;
• il conserve globalement ses capacités générales : l'entraînement dédié à la mémoire n'a donc pas détruit les compétences de base ;
• avec 128K tokens d'historique, MemT-1.0-Nano accélère l'inférence de bout en bout d'environ 1,86 fois par rapport au contexte complet avec KV-cache ;
• le stockage permanent est réduit de 66 fois ;
• sur les tâches agentiques, la part d'exécutions réussies augmente, car le modèle assimile l'expérience procédurale extraite.

La formulation « compétitif face au RAG » reflète honnêtement l'état des lieux : les auteurs ne revendiquent pas de supériorité sur la recherche. Le point compte, car c'est bien le retrieval qui reste la bête de somme en production. Le résumé ne donne aucun chiffre par benchmark ni par taille de modèle : seul le texte complet de l'article permet donc de mesurer l'écart avec les baselines.

Où cela peut servir

Le scénario le plus évident concerne les agents qui travaillent longtemps et doivent se souvenir de ce qu'ils ont déjà essayé et de ce qui a fonctionné. Si l'expérience procédurale est inscrite dans l'état du modèle, il n'est plus nécessaire de la ressortir à chaque fois d'une base, ni de dépenser des tokens de contexte pour cela. Pour les développeurs d'assistants et d'agents de code, une économie de stockage de 66 fois signifie que l'historique personnel d'un utilisateur peut être conservé de façon plus compacte et moins chère. Sur les dialogues longs, le gain de vitesse augmente avec la longueur du contexte.

La prudence reste de mise. Les résultats viennent de deux petits modèles, et l'affirmation sur la préservation des capacités générales est formulée avec un « globalement ». Avant de remplacer un pipeline de retrieval, il vaut mieux attendre des vérifications indépendantes, examiner le comportement en cas d'entrées erronées ou obsolètes dans la mémoire, et évaluer comment une mémoire native s'accommode des exigences d'audit et de suppression des données. Mais la direction est claire : la mémoire cesse d'être une surcouche et devient une propriété de l'architecture.