Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Opus a réécrit le code de llama.cpp : Qwen génère du texte 40 % plus vite sur un seul processeur

Il est possible de faire tourner un réseau de neurones sans carte graphique, mais il répond lentement. L'auteur d'un billet sur Habr a confié à l'IA Opus plusieurs jours de tests et la modification du code du moteur llama.cpp. Résultat : le modèle Qwen3.8-Flash-Next Gyro, sur un seul processeur, produit désormais 2,72 token par seconde contre 1,97 auparavant, soit environ 40 % de mieux (un token correspond à une syllabe ou à un mot court). C'est toujours lent pour un chat en direct, mais pour les tâches de fond sur un serveur sans GPU, les correctifs méritent d'être testés.

Traité par IA depuis Habr AI ; édité par Hamidun News
Opus a réécrit le code de llama.cpp : Qwen génère du texte 40 % plus vite sur un seul processeur
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1La lecture du prompt est passée de 4,12 à 11,21 token/s (correctif fix37)
Chiffre clé #2Le correctif fix23 a apporté ×1,23 à la génération, fix37 ×1,40 par rapport à l'original
Chiffre clé #3Les correctifs sont disponibles dans une merge request sur GitLab, l'auteur demande que l'on partage ses mesures

Presque tous les conseils pour accélérer les réseaux de neurones en local se ressemblent : achetez une carte graphique. Ou compressez et réentraînez le modèle lui-même. Mais que faire si la machine ne dispose que d'un processeur et de mémoire vive ?

L'auteur d'un billet sur Habr a décidé de le vérifier en pratique. Il a confié à l'IA Opus la modification du code de llama.cpp, un moteur populaire pour faire tourner des modèles sur son propre matériel.

Résultat : sans carte graphique, Qwen3.8-Flash-Next Gyro produit 2,72 token par seconde au lieu de 1,97 initialement. Un token correspond à peu près à une syllabe ou à un mot court, la vitesse a donc gagné environ 40 %.

Le résultat est modeste, mais il s'appuie sur des chiffres et un code ouvert.

Ce qui a été fait

Le modèle de test est Qwen3.8-Flash-Next Gyro au format GGUF. Ce format sert à lancer des modèles via llama.cpp. L'auteur n'a pas touché au modèle lui-même : ni réentraînement, ni compression. Il s'est attaqué au code du moteur. Le travail principal a été réalisé par Opus. Pendant plusieurs jours, il a lancé des tests sur l'ordinateur de l'auteur, cherché les endroits où le processeur perd du temps pour rien, et proposé des modifications du code de llama.cpp.

Au final, plusieurs versions du correctif ont vu le jour. Dans son tableau, l'auteur compare deux d'entre elles, fix23 et fix37, à la version d'origine.

Ce que montrent les mesures

Deux grandeurs ont été mesurées : la vitesse de lecture du prompt (le nombre de token que le modèle « lit » par seconde) et la vitesse de génération de la réponse. Dans le tableau, chaque cellule contient deux nombres. L'auteur n'explique pas ce que désigne le second, les deux couples sont donc repris ci-dessous.

  • Original : prompt 4,12 / 3,75 token/s, génération 1,97 / 1,92.
  • fix23 : prompt 10,98 / 10,05, génération 2,41 / 2,38, accélération ×1,23.
  • fix37 : prompt 11,21 / 14,49, génération 2,72 / 2,73, accélération ×1,40.

La lecture du prompt a été plus accélérée que la génération : d'après les premiers chiffres, elle passe de 4,12 à 11,21 token/s, soit près de trois fois plus. Pour un processeur, cela s'explique. Le prompt peut être traité par gros paquets, alors que la génération avance un token à la fois et se heurte à la vitesse de la mémoire, ce qui rend les gains bien plus difficiles à obtenir. L'auteur joint également un graphique : plus le contexte est long, plus la génération ralentit. Les correctifs ne suppriment pas cette dépendance.

Que faire de tout cela, et quelles sont les limites

Une vitesse de 2,7 token par seconde reste faible pour un chat interactif. En revanche, pour des tâches de fond, comme le traitement de textes par lots où l'on n'est pas pressé, ce gain se remarque déjà. Ce sont des mesures faites sur une seule machine. Le processeur et la quantité de mémoire de l'auteur ne sont pas précisés dans le billet. On ne peut donc pas promettre la même accélération sur un autre matériel ou avec un autre modèle. L'auteur demande lui-même si un réglage similaire fonctionnera pour d'autres modèles, et invite les lecteurs à partager leur configuration et leur gain après application des correctifs.

Les correctifs se trouvent dans une merge request sur GitLab, dans le dépôt agentionai-group/llama.cpp. Si vous faites tourner des modèles locaux sur un serveur sans GPU, vous pouvez les compiler et les comparer à llama.cpp standard sur votre propre charge. Par ailleurs, cet exemple montre qu'un assistant IA peut travailler plusieurs jours sur du code bas niveau, sur du matériel réel, plutôt que de produire un CRUD générique.

Un point désagréable : le compte sous lequel l'auteur utilisait Opus a été bloqué. La vérification et le recours n'ont rien donné, le blocage est définitif. Il demande désormais à la communauté quel modèle, dans quel harness (l'environnement qui fournit des outils au modèle et lui permet de travailler de façon autonome) pourrait tenir aussi longtemps sur du matériel personnel que Claude Code. La question est pragmatique : si un projet dépend d'un seul fournisseur cloud, celui-ci peut être arrêté à tout moment.

Un mini-sondage sous le billet montre à quel point cette niche est étroite. Trois personnes ont voté : deux faisaient tourner des LLM sur un ordinateur doté d'une carte graphique dédiée, une sur un ordinateur sans carte, et personne n'utilisait de NPU spécialisé. L'échantillon est minuscule. Il rappelle néanmoins que l'accélération sur des processeurs ordinaires n'intéresse qu'un cercle restreint de passionnés. Pour eux, un gain de 40 % reste très concret.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été fait ?

Le modèle de test est Qwen3.8-Flash-Next Gyro au format GGUF. Ce format sert à lancer des modèles via llama.cpp. L'auteur n'a pas touché au modèle lui-même : ni réentraînement, ni compression. Il s'est attaqué au code du moteur. Le travail principal a été réalisé par Opus. Pendant plusieurs jours, il a lancé des tests sur l'ordinateur de l'auteur, cherché les endroits où le processeur perd du temps pour rien, et proposé des modifications du code de llama.cpp.

Que sait-on sur Ce que montrent les mesures ?

Deux grandeurs ont été mesurées : la vitesse de lecture du prompt (le nombre de token que le modèle « lit » par seconde) et la vitesse de génération de la réponse. Dans le tableau, chaque cellule contient deux nombres. L'auteur n'explique pas ce que désigne le second, les deux couples sont donc repris ci-dessous. Original : prompt 4,12 / 3,75 token/s, génération 1,97 / 1,92. fix23 : prompt 10,98 / 10,05, génération 2,41 / 2,38, accélération ×1,23.

Que sait-on sur Que faire de tout cela, et quelles sont les limites ?

Une vitesse de 2,7 token par seconde reste faible pour un chat interactif. En revanche, pour des tâches de fond, comme le traitement de textes par lots où l'on n'est pas pressé, ce gain se remarque déjà. Ce sont des mesures faites sur une seule machine. Le processeur et la quantité de mémoire de l'auteur ne sont pas précisés dans le billet. On ne peut donc pas promettre la même accélération sur un autre matériel ou avec un autre modèle.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…