Concertina replie Qwen3-4B comme un accordéon : 43% de paramètres en moins, 84% de la qualité d'origine
Les auteurs n'ont pas supprimé de couches de Qwen3-4B : ils les ont repliées par paires, comme un accordéon. Deux couches voisines sont remplacées par un seul bloc partagé, exécuté deux fois. Le modèle passe de 4,02 à 2,27 milliards de paramètres (43% en moins) et conserve environ 84% de la qualité du modèle d'origine. 22 milliards de tokens de fine-tuning ont suffi, et sur six benchmarks sur huit, le modèle devance Qwen3-1.7B, entraîné sur 36 billions de tokens. Le gain ne porte pour l'instant que sur la mémoire : la vitesse n'a pas été mesurée.
Traité par IA depuis Habr AI ; édité par Hamidun News
On obtient généralement un petit modèle de langage de deux façons : soit en l'entraînant de zéro sur un corpus gigantesque, soit en retirant une partie des couches d'un grand modèle en espérant qu'il ne perde pas en intelligence. La première option coûte des sommes considérables, la seconde dégrade la qualité. Des chercheurs proposent une troisième voie baptisée Concertina : les couches de Qwen3-4B ne sont pas supprimées, mais repliées par paires, comme le soufflet d'un concertina.
Résultat : le modèle passe de 4,02 à 2,27 milliards de paramètres (43% en moins), conserve environ 84% de la qualité de Qwen3-4B d'origine (moyenne sur huit benchmarks : le score du modèle « compressé » divisé par celui du modèle enseignant) et n'a eu besoin que de 22 milliards de tokens de distillation. Si votre modèle ne tient pas dans la mémoire d'un ordinateur portable, d'un smartphone ou d'une carte graphique abordable, ce résultat mérite un examen plus détaillé.
Comment replier un modèle comme un accordéon
Les auteurs de l'article « Folding Language Models into Themselves » sont partis de Qwen3-4B. Ils ont remplacé chaque paire de couches voisines par un seul bloc partagé, exécuté deux fois de suite. Les matrices communes proviennent de la première couche de la paire, et la profondeur du réseau reste inchangée : 36 couches, soit 18 blocs uniques à deux passes chacun.
Imaginez deux collègues de bureau qui font presque le même travail. Au lieu de deux postes, vous n'en embauchez qu'un et lui demandez d'exécuter la tâche deux fois, avec une légère correction la seconde fois. Les auteurs calculent cette correction à partir de l'écart entre les couches d'origine : ils en prennent une approximation compressée de rang 64 (SVD tronquée), et une porte (gate) propre à chaque token décide dans quelle mesure l'appliquer. Chaque passe conserve ses propres normalisations RMSNorm.
Une fois le modèle assemblé, ce « modèle élève » est distillé à partir de la même Qwen3-4B : il apprend à reproduire les réponses du modèle d'origine. Cette étape a consommé 22 milliards de tokens.
Ce que montrent les tests
La comparaison porte sur le modèle enseignant Qwen3-4B, sur Qwen3-1.7B (entraîné sur 36 billions de tokens, soit environ 1 600 fois plus de données) et sur Concertina-2,27B.
Concertina devance Qwen3-1.7B sur six indicateurs sur huit : la moyenne des sept tests de base base-7 (58,0% contre 56,2%), MMLU-Pro (30,1% contre 29,7%), GPQA, avec ses questions de niveau doctorat (30,8% contre 29,3%), BBH, qui évalue la logique complexe (40,0% contre 36,3%), GSM8K, des problèmes de maths de niveau scolaire (78,8% contre 71,0%), et MATH (49,8% contre 46,0%). Sur MMLU (55,6% contre 55,7%) et MMLU-Redux (58,7% contre 59,1%), elle s'incline d'une marge infime. Elle ne rattrape le modèle enseignant Qwen3-4B sur aucun test : celui-ci obtient par exemple 63,0% sur base-7 et 87,9% sur GSM8K.
La part moyenne de qualité du modèle enseignant conservée, calculée d'après le tableau, est de 84%, comme l'affirment les auteurs. Les tâches de raisonnement tiennent le mieux : environ 90% sur base-7 et GSM8K. Les connaissances et les questions complexes perdent davantage : MMLU-Pro et BBH se situent à 75–80% du niveau du modèle enseignant.
Ce qui est économisé, et ce qui ne l'est pas
Le poids du modèle en bf16 passe de 8,0 à 4,5 Go. Pour les appareils où la mémoire dédiée aux poids est le facteur limitant, le gain est immédiat : un modèle qui ne tenait pas auparavant y entre désormais.
Pour le reste, c'est plus compliqué. La profondeur effective reste de 36 couches, si bien que le KV-cache est identique à celui de Qwen3-4B. Le volume de calcul par token est lui aussi, vraisemblablement, à peu près le même, puisque chaque bloc partagé s'exécute deux fois. La fiche du modèle ne contient aucune mesure de vitesse ni de débit : pour l'inférence côté serveur, où vitesse et cache sont décisifs, rien ne permet donc encore de confirmer l'intérêt de la méthode.
La publication elle-même appelle aussi des réserves. Le dépôt compte deux commits et un seul checkpoint : il n'existe ni autre taille de groupe de couches, ni autre rang de correction. La méthode est démontrée sur un seul modèle, et on ignore encore comment elle se transposerait à d'autres familles. Le code est court : les fonctions fold_model et distill_loss, et un autotest sur CPU. Les poids sont disponibles sur Hugging Face sous licence Apache 2.0, comme ceux de Qwen3-4B d'origine.
Que faire de ce résultat
Si vous déployez des modèles sur des appareils edge ou si vous économisez la VRAM, le checkpoint vaut la peine d'être téléchargé et testé sur vos propres tâches, en particulier celles qui demandent du raisonnement et des maths plutôt que des connaissances encyclopédiques. Il faut surtout mesurer soi-même les tokens/sec réels sur votre GPU, en comparaison avec une Qwen3-4B classique. Si la vitesse n'augmente pas, Concertina restera un moyen de rendre un modèle plus compact en mémoire, mais pas plus rapide.
L'idée reste de toute façon parlante : 22 milliards de tokens de distillation contre 36 billions de tokens d'entraînement complet suggèrent que compresser un modèle déjà entraîné peut coûter nettement moins cher que d'en faire grandir un petit à partir de zéro.
- 2 mai 2026Faire tourner de grands réseaux de neurones en local : la mémoire compressée 14 fois
- 8 nov. 2026REAP20 accélère Qwen en local de 42 % sans perte de précision sur DS1000
- 12 nov. 2026Nous Research affine Qwen3.8-27B : la propagande dans les réponses tombe à 0,9 % contre 22 %
- 27 oct. 2026Le texte népalais « pesait » trois fois plus que l'anglais — le tokeniseur n'a jamais totalement résolu le problème
Questions clés sur cet article
Comment replier un modèle comme un accordéon?
Les auteurs de l'article « Folding Language Models into Themselves » sont partis de Qwen3-4B. Ils ont remplacé chaque paire de couches voisines par un seul bloc partagé, exécuté deux fois de suite. Les matrices communes proviennent de la première couche de la paire, et la profondeur du réseau reste inchangée : 36 couches, soit 18 blocs uniques à deux passes chacun. Imaginez deux collègues de bureau qui font presque le même travail.
Que sait-on sur Ce que montrent les tests ?
La comparaison porte sur le modèle enseignant Qwen3-4B, sur Qwen3-1.7B (entraîné sur 36 billions de tokens, soit environ 1 600 fois plus de données) et sur Concertina-2,27B. Concertina devance Qwen3-1.7B sur six indicateurs sur huit : la moyenne des sept tests de base base-7 (58,0% contre 56,2%), MMLU-Pro (30,1% contre 29,7%), GPQA, avec ses questions de niveau doctorat (30,8% contre 29,3%), BBH, qui évalue la logique complexe (40,0% contre 36,3%), GSM8K, des problèmes de maths de niveau…
Que sait-on sur Ce qui est économisé, et ce qui ne l'est pas ?
Le poids du modèle en bf16 passe de 8,0 à 4,5 Go. Pour les appareils où la mémoire dédiée aux poids est le facteur limitant, le gain est immédiat : un modèle qui ne tenait pas auparavant y entre désormais. Pour le reste, c'est plus compliqué. La profondeur effective reste de 36 couches, si bien que le KV-cache est identique à celui de Qwen3-4B. Le volume de calcul par token est lui aussi, vraisemblablement, à peu près le même, puisque chaque bloc partagé s'exécute deux fois.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.