Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieArticle R&D · Pour R&DHabr AI→ original

Concertina replie Qwen3-4B comme un accordéon : 43% de paramètres en moins, 84% de la qualité d'origine

Les auteurs n'ont pas supprimé de couches de Qwen3-4B : ils les ont repliées par paires, comme un accordéon. Deux couches voisines sont remplacées par un seul bloc partagé, exécuté deux fois. Le modèle passe de 4,02 à 2,27 milliards de paramètres (43% en moins) et conserve environ 84% de la qualité du modèle d'origine. 22 milliards de tokens de fine-tuning ont suffi, et sur six benchmarks sur huit, le modèle devance Qwen3-1.7B, entraîné sur 36 billions de tokens. Le gain ne porte pour l'instant que sur la mémoire : la vitesse n'a pas été mesurée.

Traité par IA depuis Habr AI ; édité par Hamidun News
Concertina replie Qwen3-4B comme un accordéon : 43% de paramètres en moins, 84% de la qualité d'origine
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Le poids en bf16 passe de 8,0 à 4,5 Go ; le KV-cache reste identique à celui de Qwen3-4B
Le raisonnement résiste le mieuxenviron 90% de la qualité du modèle enseignant sur GSM8K
Chiffre clé #3Les poids sont publiés sur Hugging Face sous licence Apache 2.0

On obtient généralement un petit modèle de langage de deux façons : soit en l'entraînant de zéro sur un corpus gigantesque, soit en retirant une partie des couches d'un grand modèle en espérant qu'il ne perde pas en intelligence. La première option coûte des sommes considérables, la seconde dégrade la qualité. Des chercheurs proposent une troisième voie baptisée Concertina : les couches de Qwen3-4B ne sont pas supprimées, mais repliées par paires, comme le soufflet d'un concertina.

Résultat : le modèle passe de 4,02 à 2,27 milliards de paramètres (43% en moins), conserve environ 84% de la qualité de Qwen3-4B d'origine (moyenne sur huit benchmarks : le score du modèle « compressé » divisé par celui du modèle enseignant) et n'a eu besoin que de 22 milliards de tokens de distillation. Si votre modèle ne tient pas dans la mémoire d'un ordinateur portable, d'un smartphone ou d'une carte graphique abordable, ce résultat mérite un examen plus détaillé.

Comment replier un modèle comme un accordéon

Les auteurs de l'article « Folding Language Models into Themselves » sont partis de Qwen3-4B. Ils ont remplacé chaque paire de couches voisines par un seul bloc partagé, exécuté deux fois de suite. Les matrices communes proviennent de la première couche de la paire, et la profondeur du réseau reste inchangée : 36 couches, soit 18 blocs uniques à deux passes chacun.

Imaginez deux collègues de bureau qui font presque le même travail. Au lieu de deux postes, vous n'en embauchez qu'un et lui demandez d'exécuter la tâche deux fois, avec une légère correction la seconde fois. Les auteurs calculent cette correction à partir de l'écart entre les couches d'origine : ils en prennent une approximation compressée de rang 64 (SVD tronquée), et une porte (gate) propre à chaque token décide dans quelle mesure l'appliquer. Chaque passe conserve ses propres normalisations RMSNorm.

Une fois le modèle assemblé, ce « modèle élève » est distillé à partir de la même Qwen3-4B : il apprend à reproduire les réponses du modèle d'origine. Cette étape a consommé 22 milliards de tokens.

Ce que montrent les tests

La comparaison porte sur le modèle enseignant Qwen3-4B, sur Qwen3-1.7B (entraîné sur 36 billions de tokens, soit environ 1 600 fois plus de données) et sur Concertina-2,27B.

Concertina devance Qwen3-1.7B sur six indicateurs sur huit : la moyenne des sept tests de base base-7 (58,0% contre 56,2%), MMLU-Pro (30,1% contre 29,7%), GPQA, avec ses questions de niveau doctorat (30,8% contre 29,3%), BBH, qui évalue la logique complexe (40,0% contre 36,3%), GSM8K, des problèmes de maths de niveau scolaire (78,8% contre 71,0%), et MATH (49,8% contre 46,0%). Sur MMLU (55,6% contre 55,7%) et MMLU-Redux (58,7% contre 59,1%), elle s'incline d'une marge infime. Elle ne rattrape le modèle enseignant Qwen3-4B sur aucun test : celui-ci obtient par exemple 63,0% sur base-7 et 87,9% sur GSM8K.

La part moyenne de qualité du modèle enseignant conservée, calculée d'après le tableau, est de 84%, comme l'affirment les auteurs. Les tâches de raisonnement tiennent le mieux : environ 90% sur base-7 et GSM8K. Les connaissances et les questions complexes perdent davantage : MMLU-Pro et BBH se situent à 75–80% du niveau du modèle enseignant.

Ce qui est économisé, et ce qui ne l'est pas

Le poids du modèle en bf16 passe de 8,0 à 4,5 Go. Pour les appareils où la mémoire dédiée aux poids est le facteur limitant, le gain est immédiat : un modèle qui ne tenait pas auparavant y entre désormais.

Pour le reste, c'est plus compliqué. La profondeur effective reste de 36 couches, si bien que le KV-cache est identique à celui de Qwen3-4B. Le volume de calcul par token est lui aussi, vraisemblablement, à peu près le même, puisque chaque bloc partagé s'exécute deux fois. La fiche du modèle ne contient aucune mesure de vitesse ni de débit : pour l'inférence côté serveur, où vitesse et cache sont décisifs, rien ne permet donc encore de confirmer l'intérêt de la méthode.

La publication elle-même appelle aussi des réserves. Le dépôt compte deux commits et un seul checkpoint : il n'existe ni autre taille de groupe de couches, ni autre rang de correction. La méthode est démontrée sur un seul modèle, et on ignore encore comment elle se transposerait à d'autres familles. Le code est court : les fonctions fold_model et distill_loss, et un autotest sur CPU. Les poids sont disponibles sur Hugging Face sous licence Apache 2.0, comme ceux de Qwen3-4B d'origine.

Que faire de ce résultat

Si vous déployez des modèles sur des appareils edge ou si vous économisez la VRAM, le checkpoint vaut la peine d'être téléchargé et testé sur vos propres tâches, en particulier celles qui demandent du raisonnement et des maths plutôt que des connaissances encyclopédiques. Il faut surtout mesurer soi-même les tokens/sec réels sur votre GPU, en comparaison avec une Qwen3-4B classique. Si la vitesse n'augmente pas, Concertina restera un moyen de rendre un modèle plus compact en mémoire, mais pas plus rapide.

L'idée reste de toute façon parlante : 22 milliards de tokens de distillation contre 36 billions de tokens d'entraînement complet suggèrent que compresser un modèle déjà entraîné peut coûter nettement moins cher que d'en faire grandir un petit à partir de zéro.

Dossier

Questions clés sur cet article

Comment replier un modèle comme un accordéon?

Les auteurs de l'article « Folding Language Models into Themselves » sont partis de Qwen3-4B. Ils ont remplacé chaque paire de couches voisines par un seul bloc partagé, exécuté deux fois de suite. Les matrices communes proviennent de la première couche de la paire, et la profondeur du réseau reste inchangée : 36 couches, soit 18 blocs uniques à deux passes chacun. Imaginez deux collègues de bureau qui font presque le même travail.

Que sait-on sur Ce que montrent les tests ?

La comparaison porte sur le modèle enseignant Qwen3-4B, sur Qwen3-1.7B (entraîné sur 36 billions de tokens, soit environ 1 600 fois plus de données) et sur Concertina-2,27B. Concertina devance Qwen3-1.7B sur six indicateurs sur huit : la moyenne des sept tests de base base-7 (58,0% contre 56,2%), MMLU-Pro (30,1% contre 29,7%), GPQA, avec ses questions de niveau doctorat (30,8% contre 29,3%), BBH, qui évalue la logique complexe (40,0% contre 36,3%), GSM8K, des problèmes de maths de niveau…

Que sait-on sur Ce qui est économisé, et ce qui ne l'est pas ?

Le poids du modèle en bf16 passe de 8,0 à 4,5 Go. Pour les appareils où la mémoire dédiée aux poids est le facteur limitant, le gain est immédiat : un modèle qui ne tenait pas auparavant y entre désormais. Pour le reste, c'est plus compliqué. La profondeur effective reste de 36 couches, si bien que le KV-cache est identique à celui de Qwen3-4B. Le volume de calcul par token est lui aussi, vraisemblablement, à peu près le même, puisque chaque bloc partagé s'exécute deux fois.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…