En mettant à zéro moins de 0,05% des poids, des chercheurs apprennent une nouvelle tâche à un gros LLM aussi bien qu'avec un fine-tuning
D'ordinaire, on ajoute une compétence à un modèle en réécrivant ses poids. Deletion Tuning, lui, se contente d'en mettre une partie à zéro : sur les plus gros modèles, moins de 0,05% des paramètres ont suffi, soit moins de 5 sur 10 000. Seul un masque « conserver ou annuler » est entraîné, pour les couches MLP. La qualité rejoint celle du fine-tuning complet, et la précision sur les anciennes tâches ne recule que d'un point au plus. Un même modèle peut donc passer d'une compétence à l'autre grâce à des masques de l'ordre du mégaoctet.
Traité par IA depuis TG: @gonzo_ML (gonzo-обзоры ML статей) ; édité par Hamidun News
Imaginons que vous ayez en production un grand modèle de langage unique, alors que vos clients réclament des compétences différentes : un agent capable d'appeler des outils pour l'un, un raisonnement pas à pas pour l'autre. Il y a généralement deux options : réécrire l'ensemble des poids du modèle (fine-tuning complet) ou greffer par-dessus un petit adaptateur de type LoRA. Jack Lu, Mengye Ren et leurs collègues proposent une troisième voie, Deletion Tuning : n'ajouter rien du tout, mais mettre à zéro une infime partie des poids existants.
Sur les plus gros modèles testés, il a suffi d'annuler moins de 0,05% des paramètres, soit moins de cinq poids sur dix mille, pour égaler la qualité du fine-tuning complet. Pour ceux qui servent de nombreuses variantes d'un même modèle, l'idée d'ingénierie est intéressante, même si elle est encore loin d'un outil prêt à l'emploi.
Comment former un modèle en ne faisant que supprimer
Prenons un gros livre de recettes. Au lieu d'y ajouter des pages, vous biffez quelques lignes, et le cuisinier se met à cuisiner autrement. La méthode fonctionne à peu près ainsi. Le modèle d'origine reste gelé. Seul un masque binaire est entraîné, pour les projections de gate des blocs MLP. Il s'agit de la partie de la couche qui décide quels signaux laisser passer. Pour chaque poids, le masque indique « conserver » ou « annuler ». Les poids conservés ne sont pas modifiés du tout.
C'est ainsi que des modèles préentraînés acquièrent de nouvelles compétences de raisonnement et d'utilisation d'outils, sans qu'aucun nouveau poids ne soit écrit. Leurs capacités antérieures n'en souffrent pas.
Ce que montrent les mesures
À grande échelle, Deletion Tuning a égalé le fine-tuning complet, c'est-à-dire la méthode d'adaptation la plus coûteuse, qui met à jour tous les poids. Les auteurs ont aussi vérifié séparément si le modèle oubliait ses acquis. Après un apprentissage par renforcement, la précision sur les anciennes tâches a reculé d'un point au plus par rapport au modèle de base. Un point correspond, par exemple, à une baisse de 80% à 79%.
Les résultats sont moins bons sur les petits modèles : ceux-ci n'atteignent parfois qu'environ 90% de la précision de la mise à jour dense, c'est-à-dire du fine-tuning classique de tous les poids. On peut en déduire que la méthode fonctionne mieux sur les grands réseaux. Peut-être y est-il plus facile de trouver des poids que l'on peut désactiver sans perte, mais il s'agit de notre hypothèse, pas d'une conclusion des auteurs.
À quoi cela sert en pratique
L'avantage principal se situe dans l'inférence, c'est-à-dire dans l'exploitation du modèle une fois entraîné. Si une compétence est stockée sous forme de masque binaire dont la taille se compte en mégaoctets, on peut faire basculer un seul modèle commun, chargé dans la mémoire du GPU, d'une tâche à l'autre. Pour un client, on active le masque « agent avec outils » ; pour un autre, le masque « raisonnement ». Les anciennes compétences restent en place. Les auteurs ont publié le code et les masques entraînés sur Hugging Face : l'idée peut donc être vérifiée par soi-même.
Réserves
Premièrement, le gain de taille n'est pas garanti. Les adaptateurs de rang 1 au format bf16, non compressés, occupent souvent moins de place que le masque. Comme moyen de stocker de nombreuses variantes d'un modèle de façon plus compacte que LoRA, la méthode ne s'impose donc pas encore comme gagnante évidente.
Deuxièmement, l'entraînement du masque lui-même exige bien plus de mémoire que celui d'un petit adaptateur. Pour les équipes disposant d'un parc de GPU limité, c'est un sérieux inconvénient.
Troisièmement, le fine-tuning séquentiel n'a pas été testé dans ce travail. Il s'agit du cas où le modèle reçoit une première compétence, puis une deuxième, puis une troisième. C'est pourtant ainsi que fonctionnent généralement les équipes produit. On ignore si les masques pourront se superposer sans conflit.
Conclusion
Deletion Tuning reste pour l'instant un travail de recherche, et non un outil à déployer en production dès demain. Il montre néanmoins qu'un grand modèle préentraîné recèle plus de capacités qu'on ne le pense, et qu'on peut parfois les révéler en mettant à zéro quelques centièmes de pour cent des poids. Si vous construisez un service multitâche sur un modèle commun unique, consultez l'article et le code. Si les problèmes de mémoire à l'entraînement et de fine-tuning séquentiel trouvent une solution, les masques de l'ordre du mégaoctet pourraient devenir une alternative pratique aux adaptateurs.
- 18 nov. 2026La position du token retrouvée à 99% dans un transformeur NoPE, mais à 29–42% dans RWKV-7
- 18 nov. 2026Liquid AI publie LiquidCodec : un décodage de la parole 2,9 fois plus rapide que Mimi
- 18 nov. 20261000 agents IA ont écrit un chatbot sans réseau de neurones : le taux de victoire passe de 0% à 26%
- 18 nov. 2026Concertina replie Qwen3-4B comme un accordéon : 43% de paramètres en moins, 84% de la qualité d'origine
Questions clés sur cet article
Comment former un modèle en ne faisant que supprimer?
Prenons un gros livre de recettes. Au lieu d'y ajouter des pages, vous biffez quelques lignes, et le cuisinier se met à cuisiner autrement. La méthode fonctionne à peu près ainsi. Le modèle d'origine reste gelé. Seul un masque binaire est entraîné, pour les projections de gate des blocs MLP. Il s'agit de la partie de la couche qui décide quels signaux laisser passer. Pour chaque poids, le masque indique « conserver » ou « annuler ». Les poids conservés ne sont pas modifiés du tout.
Que sait-on sur Ce que montrent les mesures ?
À grande échelle, Deletion Tuning a égalé le fine-tuning complet, c'est-à-dire la méthode d'adaptation la plus coûteuse, qui met à jour tous les poids. Les auteurs ont aussi vérifié séparément si le modèle oubliait ses acquis. Après un apprentissage par renforcement, la précision sur les anciennes tâches a reculé d'un point au plus par rapport au modèle de base. Un point correspond, par exemple, à une baisse de 80% à 79%.
Que sait-on sur à quoi cela sert en pratique ?
L'avantage principal se situe dans l'inférence, c'est-à-dire dans l'exploitation du modèle une fois entraîné. Si une compétence est stockée sous forme de masque binaire dont la taille se compte en mégaoctets, on peut faire basculer un seul modèle commun, chargé dans la mémoire du GPU, d'une tâche à l'autre. Pour un client, on active le masque « agent avec outils » ; pour un autre, le masque « raisonnement ». Les anciennes compétences restent en place.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.