Une Qwen locale sur RTX 5080 passe de 33% à 88,5% au test du cahier de laboratoire

Quand un réseau de neurones local perd face à un modèle cloud, on accuse en général le matériel : pas assez de mémoire vidéo. L'auteur d'une série d'articles sur Habr a voulu vérifier. Sa station de travail, équipée d'une seule RTX 5080 (16 Go de VRAM et 62 Go de RAM), avait affiché un résultat modeste lors de ses tests précédents.

Sur les questions portant sur le cahier de laboratoire électronique, la première Qwen 3.8 IQ2_XS n'avait répondu correctement qu'à 8 questions sur 24, soit 33%. Après correction des réglages, sur la même machine, Qwen 3.

8 IQ3_XXS a obtenu 23,0 points sur 26 possibles (88,5%) sur un jeu actualisé de 26 tâches, et partage la première place avec Claude Opus 5.5. Imaginez que vous lanciez un modèle local pour analyser du code ou des données, et qu'il se mette à « faire n'importe quoi ».

La cause peut tenir à un serveur qui a silencieusement désactivé le cache des dialogues, et à une limite de tokens qui coupe le raisonnement au milieu d'une phrase. Voici ce qu'il a fallu corriger.

La version complète plutôt que la version allégée

La version Qwen 3.8 Coder IQ1_M a été réduite à 23,4 Go de deux façons. Les poids ont été compressés à environ 1,6 bit, et la moitié des experts routables a été retirée de chaque couche : il en reste 256 sur 512. Les « experts » sont ici des blocs distincts du modèle, entre lesquels il répartit le travail. Sur des corrections de code simples, les pertes passent presque inaperçues. Elles apparaissent quand il faut garder en tête plusieurs sous-systèmes à la fois : transactions FireDAC imbriquées, recalcul de l'interface, réempaquetage des archives du projet, vérification des mises à jour en arrière-plan avec contrôle SHA-256. Le modèle allégé échouait alors systématiquement.

L'auteur a pris la version complète à 512 experts, Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS, du laboratoire ISTA-DASLab (2,84 bits par poids, 40 Gio d'experts). D'après les tables de rétention de précision, elle ne dépasse IQ2_XS que de 2,3 points de pourcentage : 87,3% contre 85,0% de la précision du modèle non compressé. Mais dans un agent multi-étapes avec un contexte d'environ cent mille tokens, les petites imprécisions s'accumulent d'une étape à l'autre, et l'écart devient sensible.

Deux pièges dans la configuration du serveur

Au départ, l'agent butait quand même sur un timeout de 45 minutes. Les logs du moteur Strata ont révélé deux causes.

Première cause : une double réservation de mémoire. Le serveur chargeait en VRAM les slots d'experts les plus sollicités (7,0 Gio) et tentait en même temps d'épingler en RAM la totalité des 40 Gio d'experts. Il ne restait que 0,7 Gio de RAM libre, si bien que le serveur désactivait le cache des dialogues sans rien signaler. Sans lui, à chaque étape d'une longue session, l'agent relisait de zéro 60–100 mille tokens d'historique et perdait environ une minute. Le flag --resident-experts n'épingle en RAM que le complément de la VRAM, soit 33,5 Gio. Les 5,4 Gio libérés ont été affectés au cache des sessions.

Deuxième cause : l'interruption du raisonnement. Avant de corriger du code, le modèle rédige dans la balise think un plan de 6–9 mille tokens. L'agent plafonnait maxTokens à 8192, et le serveur avait le mode answer_room activé. Lorsque le raisonnement atteignait 6144 tokens, le serveur fermait de force la balise et ne laissait que 2048 tokens pour la réponse. La réflexion s'arrêtait en plein milieu d'une phrase, le modèle produisait un commentaire sans appel d'outils, et tout recommençait. L'auteur a relevé la limite à maxTokens 16384 et défini answer_room: false. Les tours à vide ont disparu, et le modèle tient désormais 70–81 tokens par seconde avec un contexte de 131 072 tokens.

Un détail pour Windows : l'épinglage de 33,5 Gio de mémoire au démarrage prend environ 30 secondes. Mieux vaut donc conserver le serveur comme un processus unique et permanent pour toute la série de tâches.

Les résultats

Sur les 20 tâches Delphi, une tâche était considérée comme résolue si le projet se compile dans RAD Studio sans nouveaux avertissements du compilateur et passe les tests cachés DUnitX. Sans compétence supplémentaire, la Qwen complète en a résolu 19 sur 20 (95%), comme Claude Sonnet 5.5, et a réussi tous les tests cachés. Elle a résolu les trois tâches sur lesquelles la version allégée échouait. Avec la compétence delphi-development connectée, le résultat est tombé à 17 sur 20. L'auteur attribue cette baisse à la dispersion statistique sur des exécutions uniques : un modèle solide, même sans indications, lit les modules voisins et reprend le style du projet.

Sur le test ELN Suite 1.1 (26 tâches, serveur MCP en conditions réelles), le modèle local a obtenu 23,0 points (88,5%) en 46 minutes. Claude Sonnet 5.5 et Gemini 4 ont obtenu 21,0 chacun, DeepSeek V4.1 Flash 19,0. Le premier lancement avait donné 22,0 : le seul zéro est venu d'une question d'échauffement, où le modèle a passé un paramètre booléen sous forme de chaîne "True" au lieu de true. Le harnais agentique OMP tolère ce genre d'écart ; en revanche, le validateur strict maison de l'auteur et l'un des cinq analyseurs de paramètres redondants du serveur Delphi, non.

Enseignements pratiques et réserves

• N'utilisez pas de versions allégées par retrait d'experts pour des tâches agentiques complexes.
• Surveillez l'équilibre entre RAM et cache des dialogues : la désactivation silencieuse du cache transforme une session en relecture sans fin du contexte.
• Laissez au modèle de raisonnement une marge sur maxTokens et n'activez pas la fermeture forcée de think.
• Rendez les outils tolérants à "True" et à null dans les champs facultatifs.

Les réserves comptent. Les tests sont ceux de l'auteur, réalisés sur des projets fermés, et une partie des configurations n'a été exécutée qu'une seule fois. Les anciens 33% proviennent d'un jeu de 24 questions, les nouveaux 88,5% d'un jeu actualisé de 26 tâches. Le modèle local est nettement plus lent : 46 minutes contre 17 pour Opus 5.5 et 11 pour Sonnet 5.5. En revanche, l'exécution coûte $0 contre $5,37 pour Opus. Si les tâches ne sont pas urgentes et que les données ne peuvent pas sortir du laboratoire, c'est un argument sérieux en faveur de son propre matériel.