Unsloth met à jour ses versions compressées de Qwen3.8-27B : précision en hausse de 5 à 10 % à taille égale
Pour faire tourner chez soi le grand modèle Qwen3.8-27B, on compresse ses poids à 2–6 bits, et la qualité en pâtit. L'équipe Unsloth a publié la mise à jour Dynamic v3.1 : sur les benchmarks, dont Terminal Bench 2.1 et DeepSWE, les versions compressées répondent avec 5 à 10 % de précision en plus, à taille de fichier identique. La version 4 bits tient dans 16 à 19 Go de mémoire vidéo, ce qui suffit pour une RTX 4090 ou un Mac de 24 Go. Si vous faites tourner le modèle en local pour le code et les agents, il vaut la peine de retélécharger les poids.
Traité par IA depuis Hacker News AI ; édité par Hamidun News
Qwen3.8-27B est un modèle de Qwen de 27 milliards de paramètres, qui écrit bien du code, fonctionne comme agent dans un terminal, comprend les images et tient une conversation. En pleine précision, il pèse plusieurs dizaines de gigaoctets et ne tient pas dans la mémoire d'une carte graphique ordinaire.
On le compresse donc : chaque poids n'est pas stocké sur 16 bits, mais sur 2 à 6 bits. C'est comme le JPEG pour une photo : le fichier est plus petit, mais des détails disparaissent. L'équipe Unsloth propose ces versions compressées et affirme, dans la mise à jour Dynamic v3.
1, qu'à taille de fichier identique la précision moyenne a progressé de 5 à 10 % sur la plupart des benchmarks par rapport à ses versions précédentes. Pour ceux qui font tourner le modèle chez eux, cela signifie la même empreinte mémoire et des réponses de meilleure qualité.
Ce qui change avec Dynamic v3.1
La mise à jour est sortie le 11 novembre 2026. La nouvelle version de l'algorithme de compression touche presque toutes les variantes, de 2 à 6 bits. Seules les UD3 sur 3 bits font exception : UD3.1 n'y apporte presque aucun gain, et l'équipe a décidé de ne pas les modifier.
Les tests ont porté sur les tâches agentiques Terminal Bench 2.1 et DeepSWE v1.1, ainsi que sur LiveCodeBench v6, GPQA Diamond, MMLU-Pro et AIME25. Pour les tests agentiques, le contexte était de 256K tokens ; pour les autres, de 128K. Paramètres de génération : temperature 1.0, top_p 0.95, top_k 20, avec conservation du raisonnement et niveau de reasoning maximal.
Pour la pratique, ce sont les exigences matérielles qui comptent le plus. La version 4 bits fonctionne avec 16 à 19 Go de mémoire vidéo : une RTX 5080, une RTX 4090 ou un Mac de 24 Go de mémoire conviennent. La règle des auteurs : la somme de la mémoire vive et de la mémoire vidéo doit à peu près égaler la taille de la version choisie. Si elle est insuffisante, le modèle démarre quand même, mais nettement plus lentement, car une partie des données doit être chargée depuis le disque. Il est aussi conseillé de garder une marge de 1 à 2 Go.
Le différend avec ISTA sur la manière de mesurer honnêtement la précision
Une partie distincte de l'article est la polémique avec la méthode concurrente GSQ-RCO, proposée par ISTA. Dans la comparaison d'ISTA, les anciennes compressions d'Unsloth paraissaient moins bonnes sur LiveCodeBench. Unsloth obtient le résultat inverse : UD3 devance ISTA sur toutes les tailles, sauf la plus petite. Les auteurs supposent qu'ISTA a effectué ses calculs avec un contexte d'environ 96K et non de 128K. À 96K, la méthode GSQ-RCO est effectivement un peu en tête ; à 128K, UD3 gagne nettement.
Le second exemple concerne AIME25. Chez ISTA, les versions compressées conservaient 100 % de la précision du modèle d'origine dans trois cas sur quatre, et 96,7 % dans le quatrième. Unsloth estime qu'il n'y a eu qu'une seule passe. L'équipe elle-même a effectué 14 passes et obtient une conservation moyenne de la précision de 93 à 96 %, et non de 100 %. Le décodage glouton (temperature 0) n'a pas donné non plus des 100 % stables : les calculs sur GPU ne sont pas entièrement déterministes, et, en pratique, presque personne ne génère de cette façon.
La leçon pratique pour quiconque compare des modèles : une seule exécution ne prouve presque rien. Répétez le test plusieurs fois, avec le contexte que vous utiliserez réellement dans votre produit.
Il existe aussi une réserve concernant Exllama-v3. Cette bibliothèque stocke sa table de tokens au format BF16. Unsloth l'a retirée des graphiques principaux de taille, mais reconnaît que, du point de vue de l'espace disque et de la mémoire réellement utilisés, le tableau est différent. Pour choisir une version, comparez la taille complète des fichiers.
NVFP4, modes de raisonnement et limites
Aux propriétaires de cartes graphiques Blackwell (série RTX 50, DGX Spark, B200, B300), Unsloth propose les versions NVFP4. Selon ses données, elles sont 1,5 fois plus rapides que BF16 et conservent 92 à 97 % de correspondance avec l'original sur la prédiction du token en première position. Elles n'ont d'abord fonctionné que sous vLLM, puis SGLang version 0.5.19 les a prises en charge. Pour les cartes plus anciennes, restent les fichiers GGUF, compatibles avec llama.cpp et l'application Unsloth Desktop.
Par défaut, le modèle raisonne au niveau maximal. Pour réduire les chaînes de raisonnement et la consommation de tokens, on peut passer le paramètre reasoning_effort dans llama.cpp, par exemple avec la valeur medium. Il existe aussi un mode qui conserve les raisonnements précédents entre les répliques : cela consomme davantage de tokens, mais la précision peut progresser dans les longs dialogues.
La réserve principale : tous les chiffres viennent d'Unsloth elle-même, sans vérification indépendante pour l'instant, et les tableaux complets de la source se réduisent à des liens. Les auteurs ont toutefois détaillé leur méthodologie suffisamment pour que les mesures puissent être reproduites. Si vous utilisez Qwen3.8-27B en local pour la programmation ou les agents, passer les poids à la v3.1 est raisonnable. Vérifiez en parallèle votre propre scénario sur plusieurs passes, plutôt que de vous fier à un seul résultat favorable.
- 21 nov. 2026La Californie poursuit OpenAI : ses agents d'IA sont sortis de leur cadre au moins 80 fois
- 21 nov. 2026Meta prépare Muse Charm, un tamagotchi IA à 300 $ avec un an de 5G Verizon
- 21 nov. 2026Dreamteam lève 53 M$ pour un CRM qui se remplit tout seul à partir des e-mails et des appels
- 21 nov. 202622 agents Claude ont cherché pendant six semaines des réponses sur les trous noirs — et ont résolu deux problèmes
Questions clés sur cet article
Que sait-on sur Ce qui change avec Dynamic v3.1 ?
La mise à jour est sortie le 11 novembre 2026. La nouvelle version de l'algorithme de compression touche presque toutes les variantes, de 2 à 6 bits. Seules les UD3 sur 3 bits font exception : UD3.1 n'y apporte presque aucun gain, et l'équipe a décidé de ne pas les modifier. Les tests ont porté sur les tâches agentiques Terminal Bench 2.1 et DeepSWE v1.1, ainsi que sur LiveCodeBench v6, GPQA Diamond, MMLU-Pro et AIME25. Pour les tests agentiques, le contexte était de 256K tokens ; pour les autres, de 128K.
Que sait-on sur Le différend avec ISTA sur la manière de mesurer honnêtement la précision ?
Une partie distincte de l'article est la polémique avec la méthode concurrente GSQ-RCO, proposée par ISTA. Dans la comparaison d'ISTA, les anciennes compressions d'Unsloth paraissaient moins bonnes sur LiveCodeBench. Unsloth obtient le résultat inverse : UD3 devance ISTA sur toutes les tailles, sauf la plus petite. Les auteurs supposent qu'ISTA a effectué ses calculs avec un contexte d'environ 96K et non de 128K. À 96K, la méthode GSQ-RCO est effectivement un peu en tête ; à 128K, UD3 gagne nettement.
Que sait-on sur NVFP4, modes de raisonnement et limites ?
Aux propriétaires de cartes graphiques Blackwell (série RTX 50, DGX Spark, B200, B300), Unsloth propose les versions NVFP4. Selon ses données, elles sont 1,5 fois plus rapides que BF16 et conservent 92 à 97 % de correspondance avec l'original sur la prédiction du token en première position. Elles n'ont d'abord fonctionné que sous vLLM, puis SGLang version 0.5.19 les a prises en charge. Pour les cartes plus anciennes, restent les fichiers GGUF, compatibles avec llama.cpp et l'application Unsloth Desktop.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.