SLICE-Mem réduit de 92 % la consommation de jetons mémoire des agents IA sans sacrifier la qualité

Comment fonctionne la sélection des souvenirs

Des chercheurs de l'Université polytechnique de Hong Kong, de l'Université de technologie de Chine du Sud et d'unités affiliées ont résolu un problème familier à quiconque construit des agents IA à mémoire longue : pour qu'un agent se souvienne de l'utilisateur entre deux sessions, chaque phrase doit être évaluée, analysée et stockée — une opération presque toujours confiée à un grand modèle de langage. Plus la conversation se prolonge, plus les appels au modèle se multiplient, et la facture en jetons augmente plus vite que les bénéfices de la mémorisation.

L'équipe propose SLICE-Mem, un système qui retire le modèle de langage de l'étape la plus fréquente — l'enregistrement en ligne — et ne le réserve qu'à un rare nettoyage en arrière-plan.

Plutôt que de demander à un grand modèle « cette phrase vaut-elle la peine d'être mémorisée ? », SLICE-Mem a entraîné un petit classificateur — un « filtre de pertinence ». Il examine la phrase de l'utilisateur ainsi que plusieurs messages précédents du dialogue et évalue la probabilité que l'information mérite d'être conservée : préférences, faits, plans, promesses. Son entraînement s'est appuyé sur des annotations où trois grands modèles « enseignants » différents votaient sur l'importance de chaque phrase, complétées par des étiquettes issues de jeux de données ouverts. Le seuil de sélection a été ajusté expérimentalement : parmi neuf variantes testées, les auteurs ont retenu celle qui donnait le meilleur résultat final sur le test Memora Weekly.

Si une phrase passe le filtre, elle n'est pas envoyée au modèle pour être reformulée — un analyseur linguistique classique repère plutôt le prédicat de la phrase et les mots qui s'y rattachent : qui est l'acteur, que s'est-il passé, quand, pourquoi, où. Ces éléments sont assemblés en une note compacte qui reprend au plus près les mots originaux de l'utilisateur, sans paraphrase par le modèle. Si l'algorithme ne parvient à rien extraire d'utile, il se contente de sauvegarder une version nettoyée de la phrase d'origine, afin de ne pas perdre l'information.

Ce qui se passe avec la mémoire par la suite

Le traitement des notes déjà enregistrées — recherche de doublons, de faits obsolètes (par exemple, une personne a déménagé ou changé d'emploi) — se fait séparément, en arrière-plan, et c'est là que le modèle entre enfin en jeu. Il compare une nouvelle note à d'anciennes notes similaires et décide : conserver les deux telles quelles, marquer l'une comme doublon d'une version plus récente, marquer l'ancienne comme obsolète (en renvoyant vers son remplacement), ou signaler que les deux notes se complètent simplement. Le texte original des notes n'est jamais réécrit ni supprimé — seul leur statut de recherche change.

Résultats des tests

Sur le benchmark Memora Weekly (un test de mémoire d'agent qui pénalise l'utilisation d'informations censées être oubliées), dans une configuration avec le modèle Qwen 30B, SLICE-Mem a obtenu un score de 46,60 contre 46,68 pour le système concurrent MemOS — une différence de l'ordre de la marge d'erreur. SLICE-Mem a cependant consommé 0,536 million de jetons contre 7,009 millions pour MemOS — une réduction de 92,4 % — et le temps de construction de la mémoire est passé de 2,378 heures à 0,362 heure (soit 84,8 % plus rapide).

Sur LongMemEval-S (un test portant sur des questions liées à des faits multisessions, à la mise à jour des connaissances et au raisonnement temporel), l'écart de précision est plus marqué : 56,8 % pour SLICE-Mem contre 59,3 % pour MemOS. Mais l'économie de jetons y est maximale — 99,5 %.

Le nettoyage de mémoire en arrière-plan a un effet ambigu sur le résultat final. Sur Memora Weekly, il a fait grimper la précision à 46,74 (avec le modèle 30B) et jusqu'à 47,29 (avec le modèle 8B), mais la consommation totale de jetons est alors montée à 3,34-3,36 millions — presque six fois plus que le mode en ligne « pur », sans nettoyage. Le gain de qualité existe donc, mais il se paie en jetons supplémentaires non négligeables.

Ce que cela signifie en pratique

Pour les équipes qui construisent des assistants IA personnels dotés d'une mémoire de l'utilisateur, SLICE-Mem illustre un compromis fonctionnel : il est possible de réduire la consommation de jetons d'un ordre de grandeur, en ne perdant presque rien en qualité de mémoire, en remplaçant le modèle de langage par un classificateur léger et une analyse syntaxique à l'étape la plus fréquente — l'enregistrement. Le modèle ne devrait être réservé qu'à un nettoyage rare en arrière-plan, là où il faut comparer des notes entre elles et résoudre des contradictions — un rôle justifié par un gain de précision statistiquement perceptible, bien que modeste.