Nullify efface des connaissances d'un LLM sans réentraînement, grâce à des vecteurs dans le null-space

Une équipe de chercheurs a publié sur arXiv le préprint Nullify : une méthode de désapprentissage des grands modèles de langage qui se passe de toute étape de réentraînement. Plutôt que de modifier les poids, elle ajoute des vecteurs de steering aux activations pendant l'inférence et éloigne les représentations internes des requêtes privées des réponses mémorisées. Sur deux benchmarks, TOFU et MUSE, Nullify fait au moins aussi bien que les méthodes établies en qualité d'oubli, et l'utilité du modèle reste presque intacte. Le préprint est paru le 9 octobre 2026 dans la rubrique cs.LG.

Le problème : oublier coûte cher, et l'utilité du modèle reste fragile

Pendant le préentraînement, les LLM absorbent inévitablement des données personnelles, des textes non publics et d'autres informations sensibles. Le désapprentissage (unlearning) doit effacer sélectivement ces connaissances pour que le modèle ne les restitue plus lorsqu'on l'interroge. Un réentraînement complet sans les données problématiques coûte trop cher ; en pratique, on recourt donc à un réentraînement qui modifie les poids. Cette approche a deux défauts connus. Elle exige du calcul et des données. Et elle dégrade facilement les capacités voisines : dès que le modèle « oublie » un auteur, il commence à s'embrouiller sur des questions proches. Les auteurs de Nullify désignent explicitement l'équilibre entre qualité de l'oubli et utilité comme le principal goulet d'étranglement des méthodes existantes.

Comment fonctionne Nullify

L'idée repose sur l'activation steering. À l'inférence, on ajoute aux activations cachées un vecteur spécialement choisi. Il décale la représentation d'une requête liée à une information privée, de sorte que le modèle n'aboutit pas à la réponse mémorisée. Les poids eux-mêmes restent intacts.

Le détail clé est la contrainte de null-space. Le vecteur est construit de façon que les activations des requêtes que le modèle doit continuer à traiter normalement (retained queries) ne changent pratiquement pas, selon la description des auteurs. Autrement dit, le décalage est dirigé vers un sous-espace où les requêtes « autorisées » le ressentent à peine. C'est une tentative de résoudre le problème central de tout steering : une intervention sur les activations touche d'ordinaire tout, et pas seulement les connaissances visées.

Ce que montrent TOFU et MUSE

TOFU est un benchmark fondé sur des profils synthétiques d'auteurs fictifs, où l'on sait que le modèle n'a pu apprendre certaines informations qu'à partir d'un jeu de données précis. MUSE évalue le désapprentissage sur des corpus réels : actualités et livres. Ensemble, ils couvrent à la fois des scénarios contrôlés et des scénarios proches de la pratique.

Résultats de l'abstract :

• Type de méthode : training-free, sans mise à jour des poids.
• Mécanisme : vecteurs de steering appliqués à l'inférence.
• Protection de l'utilité : contrainte de null-space pour les retained queries.
• Qualité de l'oubli : au niveau des méthodes de référence établies, ou au-dessus.
• Préservation de l'utility : proche de zéro perte.
• Mode de déploiement : surcouche plug-and-play au-dessus d'un modèle existant.

L'abstract ne cite aucun chiffre concret ; l'ampleur de l'avantage sur les baselines devra donc être vérifiée dans les tableaux de la version complète de l'article.

Où l'appliquer, et où est le piège

Pour les équipes qui exploitent un LLM en production et reçoivent des demandes de suppression de données, l'approche semble pratique. Plus besoin de lancer un réentraînement sur GPU à chaque demande, ni de conserver plusieurs versions des poids : l'ensemble de vecteurs peut s'activer et se désactiver comme une simple configuration. C'est particulièrement pertinent pour des enjeux juridiques comme le droit à l'oubli, où il faut réagir vite.

Mais l'abstract laisse des questions sans réponse, qu'il vaut mieux vérifier avant tout déploiement. Premièrement, les connaissances restent dans les poids. Il s'agit d'une redirection de la réponse, pas d'une suppression physique, et quiconque a accès au modèle peut retirer l'intervention. Avec des poids ouverts, la protection est de fait purement nominale. Deuxièmement, la robustesse face à la reformulation, aux questions en plusieurs étapes et aux attaques ciblées d'extraction de données n'est pas établie. Troisièmement, il faut observer comment le nombre de vecteurs évolue lorsque les demandes de suppression se multiplient, et si des effets de bord s'accumulent.

En résumé : Nullify doit être vu comme une couche de protection rapide pour les déploiements d'API fermés, et non comme un substitut à un véritable désapprentissage. Si des vérifications indépendantes confirment les résultats, la méthode comblera une niche notable entre le réentraînement coûteux et les filtres de sortie grossiers.