Qwen3.8-27B en IQ3 sur une RTX 5070 Ti : 91,1% de réussite et 68,3 tok/s

Un auteur de Habr a fait tourner Qwen3.8-27B en quantification IQ3 sur une seule carte graphique RTX 5070 Ti. Il obtient 91,1% de tâches résolues avec succès sur son propre jeu de tâches. L'indice composite s'établit à 82,3, et la vitesse de génération à 68,3 tokens par seconde sur un seul flux, avec un contexte de 131K. Il s'agit de la première partie d'une série : la suite comparera l'exécution locale aux fournisseurs cloud russes, sur la qualité et sur le prix en roubles.

Ce qui a été mesuré

Dans l'annonce, les chiffres sont rattachés à « mes tâches ». Il s'agit donc d'un benchmark maison, et non d'un test public comme ceux que font tourner les laboratoires. En pratique, c'est même plus utile : ses propres tâches montrent plus précisément si un modèle convient à un travail donné. En revanche, on ne peut pas comparer directement ce résultat aux tableaux des leaderboards.

Paramètres finaux du test :

• Modèle : Qwen3.8-27B, quantification IQ3
• Matériel : une seule RTX 5070 Ti
• Part de tâches résolues avec succès : 91,1%
• Indice composite : 82,3
• Vitesse : 68,3 tok/s, un seul flux
• Contexte : 131K tokens

Pourquoi IQ3 et 131K font débat

L'auteur écrit avoir entendu de nombreux avis du type « 131K, c'est trop peu » et « IQ3, c'est bête ». Les objections se comprennent. IQ3 compresse les poids à environ trois bits par paramètre, et ce type de quantification traîne une réputation de qualité dégradée. Un contexte de 131K paraît lui aussi modeste face aux modèles dotés d'une fenêtre de plusieurs centaines de milliers, voire de millions de tokens.

L'explication tient au matériel. La RTX 5070 Ti dispose de 16 Go de mémoire vidéo GDDR7. Une estimation grossière : 27 milliards de paramètres à 3–3,5 bits par poids représentent de l'ordre de 10–11 Go pour les seuls poids. Le reste de la mémoire sert au KV-cache, qui grandit avec le contexte. C'est mon estimation : le chiffre exact dépend de l'architecture du modèle et de la quantification, ou non, du cache. Elle montre néanmoins pourquoi l'association « IQ3 plus 131K » n'a rien d'arbitraire. Une quantification plus lourde en mémoire chasserait le contexte long de la VRAM.

Avec 68,3 tokens par seconde, la vitesse dépasse le rythme de lecture et suffit pour un usage interactif : chat, corrections de code, courtes boucles agentiques.

Ce qui manque dans l'annonce

Passons aux points faibles. Le teaser ne dit pas ce que contient le jeu de tâches, ni comment l'indice de 82,3 est calculé, ni en quoi il diffère du taux de réussite de 91,1%. Le runtime, les paramètres d'échantillonnage et la méthode de vérification des réponses ne sont pas précisés. On ignore aussi comment le modèle se comporte sur un contexte rempli, et non sur de courtes requêtes. Enfin, les 68,3 tok/s valent pour un seul flux. Pour une équipe dont les requêtes arrivent en parallèle, le cloud peut l'emporter en débit.

C'est précisément pour cela que la seconde partie est plus intéressante. Elle promet une comparaison avec le cloud russe, c'est-à-dire la qualité plus le coût en roubles.

Comment exploiter ces données

Il vaut mieux prendre les chiffres de l'auteur comme une méthode, non comme un verdict.

• Rassemblez 30–50 tâches issues de votre travail réel : code, analyse de documents, extraction de données. Définissez à l'avance ce qui compte comme un succès.
• Faites tourner un même modèle avec plusieurs quantifications, par exemple IQ3 et une variante plus lourde, puis dans le cloud. Relevez le taux de réussite et la vitesse.
• Testez le contexte long séparément : remplissez la fenêtre jusqu'à 100K et plus, puis vérifiez comment la qualité se dégrade.
• Faites vos comptes honnêtement. D'un côté, le prix de la carte, l'électricité et votre temps de maintenance. De l'autre, les roubles par million de tokens et le volume réel de trafic.

Si vous êtes seul à utiliser le modèle et que vos tâches tiennent dans 131K, une carte locale de 16 Go peut, d'après ces données, couvrir l'essentiel du travail. Pour plusieurs flux parallèles, mieux vaut ne tirer de conclusion qu'après avoir vu les chiffres du cloud dans la seconde partie.