HyperRepair rend à des LLM affinés 93,4% de leurs compétences générales tout en conservant 99,5% du score de domaine

Une équipe de Shanghai Jiao Tong University et de l'University of Queensland décrit HyperRepair, une méthode qui rend à un modèle de langage affiné les compétences générales perdues lors de son adaptation à une tâche étroite. Elle ne nécessite ni données du domaine cible ni entraînement supplémentaire côté utilisateur : un petit réseau latéral se branche sur le modèle gelé, et ses poids sont générés par un hyperréseau distinct. Sur 12 jeux de données LoRA et 15 benchmarks généraux, la méthode a restauré 93,4% du score général moyen des modèles de base, tout en conservant 99,5% du score de domaine moyen des versions affinées.

Pourquoi la réparation après affinage se heurte à un compromis

L'affinage améliore le modèle dans le domaine visé, mais affaiblit ses connaissances générales et son raisonnement. Même LoRA, où seule une petite fraction des paramètres est entraînée, ne protège pas de l'oubli catastrophique. Les approches existantes se répartissent en deux camps.

Les premières interviennent dans le processus d'affinage lui-même : régularisation des paramètres, rejeu d'anciennes données, distillation, refonte des adaptateurs et pondération de la loss. Elles exigent de contrôler l'entraînement et n'aident pas lorsque le checkpoint est déjà figé. Les secondes agissent a posteriori : fusion de modèles ou élagage des poids en tenant compte de l'oubli.

Mais un unique jeu de poids modifiés s'applique à toutes les requêtes, et le gain en compétences générales se paie généralement par une perte de spécialisation dans le domaine.

Les auteurs prennent une autre voie. Les poids du modèle affiné restent intacts, et la correction vit dans un canal séparé. Le modèle d'origine est conservé comme solution de repli, et le prompt lui-même permet de décider si la correction est nécessaire.

Un réseau latéral à gate et l'hyperréseau qui le génère

Le Repairing Side Net (RSN) est un réseau transformeur léger, branché sur les états intermédiaires du modèle gelé. Il produit une correction résiduelle appliquée à l'état caché final, avant la « tête » de langage. C'est un gate qui décide dans quelle mesure appliquer cette correction : il moyenne les états sur les tokens du prompt, puis les fait passer dans un petit MLP muni d'une sigmoïde. Le gate est entraîné à renvoyer un sur les requêtes générales et zéro sur les requêtes de domaine non étiquetées. À zéro, le modèle produit les mêmes prédictions que la version affinée d'origine.

Le point le plus intéressant est la manière d'obtenir un RSN pour un nouveau modèle sans entraînement. Chaque modèle affiné est décrit par une « empreinte d'activations » : sur un ensemble fixe de prompts généraux non étiquetés, on mesure comment les états cachés de chaque couche se sont déplacés par rapport au modèle préentraîné. Ce déplacement est décomposé en une direction et le logarithme de son amplitude.

Un transformeur encode ces caractéristiques couche par couche et forme des représentations locales et globales. À partir d'elles, HyperNet génère les paramètres du RSN avec son gate : un gabarit commun apprenable, auquel s'ajoute un terme conditionné par l'empreinte. Les corrections matricielles sont assemblées à partir de facteurs de faible rang, ce qui réduit le nombre de valeurs à générer.

On entraîne d'abord un RSN dédié pour chaque modèle source, et ses paramètres deviennent les cibles de l'hyperréseau. Celui-ci apprend à partir de trois signaux : l'erreur quadratique moyenne entre poids générés et poids de référence, l'alignement des caractéristiques lues par le gate, et une loss fonctionnelle sur les prédictions du modèle auquel le RSN généré est connecté. La composante fonctionnelle est nécessaire parce que les erreurs sur les poids affectent à la fois la correction elle-même et la décision du gate. Au déploiement, pour un modèle issu d'un domaine inconnu, on calcule l'empreinte, on exécute l'hyperréseau une fois et on branche le RSN obtenu.

Ce que montrent les tests et les questions qui restent ouvertes

Les auteurs ont évalué la méthode sur deux familles de modèles, 12 domaines d'adaptation (classification, questions-réponses, parsing sémantique, synthèse de code) et 15 benchmarks généraux. Parmi les checkpoints de base figure Qwen2.5-7B ; le texte de la description s'interrompt, si bien que la seconde famille et les détails des jeux de données ne sont pas visibles ici. L'hyperréseau a été entraîné sur les modèles sources et testé sur des domaines absents de l'entraînement. Sur le découpage standard, le résultat est de 93,4% du score général des modèles de base et de 99,5% du score de domaine des modèles affinés.

L'intérêt pratique est clair : si une entreprise gère de nombreux adaptateurs LoRA sur une même base, réparer chacun par un entraînement dédié coûte un effort proportionnel à leur nombre, alors qu'ici le coût se réduit à une passe de l'hyperréseau. Les limites sont tout aussi évidentes. La méthode dépend d'une base préentraînée commune, la correction ajoute du calcul à l'inférence, et 93,4% signifie que la restauration n'est pas complète. Le texte disponible ne permet pas de savoir si l'approche fonctionne à d'autres tailles et sur d'autres architectures, ni comment le gate se comporte sur les requêtes limites. Seule une réplication indépendante le vérifiera.