Deep Fusion Memory divise la recherche par 32 et dépasse les baselines de 12,7%

Des chercheurs proposent Deep Fusion Memory (DFM), une mémoire paramétrique pour grands modèles de langage. Elle intègre les connaissances externes dans les états cachés et ne nécessite aucune recherche dans une base au moment de la réponse. Construire les données d'entraînement de cette mémoire coûte 32 fois moins en requêtes de recherche et 2048 fois moins en éléments extraits que les approches paramétriques existantes. Sur six benchmarks de QA, DFM dépasse la meilleure baseline de 12,71% avec Mistral-7B-v0.3 et de 11,19% avec Qwen3-8B-Base.

Trois façons d'enseigner du neuf à un modèle, chacune avec son prix

Tous ceux qui ont déployé un LLM en production connaissent le problème : le modèle doit maîtriser des informations absentes de son préentraînement. Il peut s'agir de documents internes d'une entreprise, de littérature médicale ou de données récentes. Les approches classiques imposent des compromis. Le fine-tuning sur un nouveau corpus risque de provoquer un oubli catastrophique : le modèle assimile du nouveau et perd de l'ancien. Le RAG va bien chercher les documents, mais chaque requête devient une recherche et le contexte gonfle, ce qui pèse directement sur la latence et sur le nombre de tokens.

La troisième voie est la mémoire paramétrique externe. Les connaissances résident dans des paramètres entraînables distincts, et il n'y a pas de recherche à l'exécution. Mais cette approche présente deux défauts, que DFM cible. Premièrement, préparer les données d'entraînement d'une telle mémoire exige une énorme recherche hors ligne, car les objectifs sont construits au niveau de chaque token. Deuxièmement, la mémoire est généralement mélangée à la sortie du modèle par interpolation au niveau de la distribution de probabilités. C'est une fusion superficielle : les connaissances n'influencent pas la manière dont le modèle « réfléchit » à l'intérieur de ses couches.

Un prédicteur de mémoire à la place de la recherche

DFM passe des tokens aux chunks. Un prédicteur de mémoire causal génère un vecteur de mémoire à partir du contexte précédent. Il est entraîné sur des embeddings de chunks retrouvés dans le corpus, qui servent de signal de supervision. La mémoire prédite est commune à tous les tokens d'un même chunk, ce qui réduit fortement le nombre de requêtes au corpus. D'où l'économie : 32 fois moins de requêtes et 2048 fois moins d'éléments extraits.

Le second volet du schéma est la fusion profonde. La mémoire entre dans les états cachés via une gated cross-attention, c'est-à-dire avec une porte entraînable qui règle la quantité de connaissances externes admise en un point donné. Le prédicteur et le module de fusion sont entraînés de bout en bout, tandis que le modèle de base reste gelé. Ses capacités d'origine ne sont pas touchées, ce qui répond directement au problème de l'oubli. À l'inférence, il n'y a aucune recherche explicite : la mémoire est prédite à partir du contexte.

Ce que montrent les mesures

• Six tâches de QA : +12,71% par rapport à la meilleure baseline avec Mistral-7B-v0.3.
• Mêmes tâches avec Qwen3-8B-Base : +11,19%.
• Adaptation de domaine : en moyenne +6,51 points pour Qwen3-4B-Base et +4,38 pour Qwen3-8B-Base.
• Coût de construction des données d'entraînement : 32 fois moins de requêtes et 2048 fois moins d'éléments extraits que les méthodes à objectifs au niveau du token.
• Backbone gelé, aucune recherche nécessaire à l'inférence.

À noter l'écart en adaptation de domaine : le gain est plus élevé avec le modèle 4B qu'avec le 8B. C'est logique si la mémoire compense le manque de connaissances propres. Pour les petits modèles, souvent exécutés sur du matériel limité, une telle surcouche est plus utile.

À qui cela servira en pratique

Pour les équipes qui construisent des assistants métier sur des modèles ouverts, DFM apparaît comme une option intermédiaire entre le RAG et le fine-tuning. Il n'ajoute pas d'appel de recherche à chaque requête et n'impose pas de dégeler les poids. C'est particulièrement important lorsque la latence est critique et que le corpus de connaissances est stable : documentation interne, support technique, références professionnelles.

Les limites ressortent aussi du schéma lui-même. Le corpus doit tout de même être traité une fois hors ligne pour obtenir les embeddings de chunks destinés à l'entraînement. Si les connaissances changent tous les jours, réentraîner le prédicteur coûte plus cher que mettre à jour l'index d'un RAG.

DFM complétera donc plutôt le retrieval qu'il ne le remplacera : pour les données qui périment vite, la recherche restera plus pratique, tandis que pour les domaines stables, la mémoire paramétrique à fusion profonde devient une alternative sérieuse. Le principal enseignement de ce travail : réduire de plusieurs ordres de grandeur le coût de préparation des données n'a pas coûté en qualité, et en QA celle-ci a même progressé de pourcentages à deux chiffres.