Élagage structuré des LLM sans perte de précision : la méthode testée sur Llama-3-8B et Vicuna

En juillet 2026, un article publié sur arXiv présente une nouvelle méthode d'élagage structuré des grands modèles de langage. Les chercheurs décrivent trois problèmes systémiques lors du transfert de la technique AFR vers l'élagage structuré et proposent une approche unifiée qui combine transformation de puissance, agrégation préservant les signes et écrêtage des valeurs aberrantes par percentiles. Les expériences sur Llama-3-8B, Vicuna-v1.5-13B et LLaVA-v1.5-13B montrent une précision au niveau de l'élagage non structuré, avec une accélération réelle de l'inférence.

Pourquoi l'élagage structuré convient mieux au déploiement

L'élagage est l'une des techniques de base de compression des réseaux de neurones : les paramètres peu significatifs sont supprimés, et le modèle devient plus petit et plus rapide. Il existe deux approches fondamentalement différentes.

L'élagage non structuré met à zéro des poids individuels et produit des matrices creuses. La précision en souffre moins, mais l'accélération pratique sur les GPU standard est quasi nulle : il faut des noyaux spécialisés ou un matériel hors de portée de la plupart des équipes.

L'élagage structuré supprime des neurones, des têtes d'attention ou des couches entières. Le modèle obtenu a une densité standard et s'exécute plus vite sur du matériel ordinaire, sans artifice supplémentaire. Le problème : sa qualité restait traditionnellement inférieure à celle des méthodes non structurées. Les auteurs s'attaquent précisément à cet écart.

Trois problèmes pour adapter AFR

AFR (Adaptive Feature Retention) est une méthode non structurée qui conserve les poids « importants » à partir d'informations de gradient. Les auteurs ont tenté de la transposer au niveau structurel et se sont heurtés à trois obstacles :

• Décalage des distributions : les scores d'importance issus de différentes couches ont des échelles incomparables ; une moyenne directe donne un résultat faussé
• Perte de l'information de signe : le signe du score indique si la direction de mise à jour du poids coïncide avec le gradient d'optimisation ; la plupart des méthodes d'agrégation perdent ce signe
• Influence des valeurs aberrantes : les valeurs extrêmes dominent l'agrégation et conduisent à supprimer des structures sans rapport avec leur importance réelle

Chacun de ces problèmes dégrade à lui seul la qualité finale ; ensemble, ils rendent le transfert direct d'AFR inutilisable.

Comment fonctionne la solution proposée

Les auteurs proposent trois techniques, appliquées successivement dans un schéma d'agrégation unique.

La transformation de puissance égalise les distributions de scores de façon non linéaire. La mise à l'échelle linéaire gère mal les queues lourdes typiques des activations des transformers. Une fonction de puissance à exposant ajustable rend comparables les scores de sources différentes.

L'agrégation préservant les signes combine les scores transformés sans perdre l'information de direction. Si un neurone reçoit un score d'un certain signe, il en est tenu compte pour choisir les candidats à la suppression, au lieu de simplement moyenner des valeurs absolues.

L'écrêtage des valeurs aberrantes par percentiles retire les valeurs extrêmes avant l'agrégation. Le seuil est fixé en percentiles et non en valeurs absolues, ce qui rend la méthode stable en cas de changement d'architecture ou de tâche.

Résultats sur Llama, Vicuna et LLaVA

La méthode a été testée sur trois modèles ouverts de classes différentes :

• Llama-3-8B : la précision après élagage structuré est comparable à celle de la version non structurée d'AFR
• Vicuna-v1.5-13B : le modèle conversationnel conserve la qualité de ses réponses avec moins de paramètres
• LLaVA-v1.5-13B : le modèle multimodal n'a lui non plus pas montré de dégradation significative

Les auteurs insistent sur le « practical inference speedup » : les modèles compressés tournent plus vite sur des GPU standard, sans bibliothèques spéciales pour matrices creuses. C'est ce qui rend l'élagage structuré intéressant pour les déploiements en production, où le coût de calcul est compté directement.

Ce que cela change

Ce travail comble une lacune technique précise : adapter des métriques d'importance non structurées à l'élagage structuré imposait jusqu'ici un compromis sur la précision ou un coûteux fine-tuning de récupération. Trois correctifs ciblés (alignement des distributions, préservation des signes, écrêtage des valeurs aberrantes par percentiles) permettent de conserver la précision tout en obtenant une accélération réelle, sans bricolage après élagage.