Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
InfrastructureAnalyse · Sur le radarHabr AI→ original

Un mini-PC fait tourner un LLM de 26B grâce à un seul curseur : sur l'iGPU, la génération gagne 21 à 39 %

Sur un mini-PC de 32 Go, Ollama plantait faute de mémoire : Windows n'alloue à l'Intel Arc intégré qu'environ la moitié de la RAM, soit 18 Go. L'auteur a relevé la limite Shared GPU Memory Override à 26 Go, et des modèles de 20 à 35 milliards de paramètres tiennent désormais entièrement en mémoire. La génération sur le GPU est plus rapide que sur le processeur : +21 % avec Gemma 4 et +39 % avec Tiel-Coder, pour 28 à 42 % d'énergie en moins par 1000 tokens. Sur Core Ultra, cela dispense d'une carte graphique dédiée.

Traité par IA depuis Habr AI ; édité par Hamidun News
Un mini-PC fait tourner un LLM de 26B grâce à un seul curseur : sur l'iGPU, la génération gagne 21 à 39 %
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Gemma 4 26B sur le GPU15,8 → 19,1 tokens/s ; Tiel-Coder : 12,2 → 16,9
Chiffre clé #2Les 26 exécutions ont consommé environ 0,11 kWh au total, soit moins d'un rouble
Chiffre clé #3Avec un gabarit de code, GPT-OSS a terminé la tâche SolidCraft en 55 s, contre 114 à 154 s pour les autres modèles

Imaginez : vous téléchargez le modèle de langage Gemma 4 26B, le fichier pèse 18 Go, votre mini-PC dispose de 32 Go de RAM, et Ollama plante malgré tout avec une erreur de mémoire insuffisante. La raison : l'iGPU Intel Arc n'a pas de VRAM propre. Il prélève une partie de la RAM partagée, et Windows ne lui en accorde par défaut qu'environ la moitié.

Ollama ne voyait que 18 Go, et les modèles « tout juste » trop gros ne rentraient pas. L'auteur de l'analyse publiée sur Habr a trouvé dans les réglages Intel un paramètre qui relève cette limite à 26 Go. Résultat : sur le mini-PC GEEKOM GT1 Mega, des modèles de 20 à 35 milliards de paramètres (c'est ce que désignent « 26B » ou « 35B » dans leurs noms) fonctionnent, et la génération de texte sur le GPU intégré s'avère plus rapide que sur le processeur : +21 % avec Gemma 4 et +39 % avec Tiel-Coder.

Pour qui possède un portable ou un mini-PC sous Core Ultra, c'est un moyen d'exécuter de gros modèles locaux sans acheter de carte graphique coûteuse.

Un curseur à la place d'une carte graphique

Le matériel testé : processeur Intel Core Ultra 9 185H (16 cœurs, jusqu'à 5,1 GHz), GPU intégré Arc avec 8 cœurs Xe, 32 Go de DDR5-5600 en double canal. La limite de « mémoire vidéo virtuelle » se modifie dans Intel Graphics Software : « Paramètres — Système — Shared GPU Memory Override ». L'auteur a réglé 26 Go, soit plus de 80 % de la mémoire, puis redémarré l'ordinateur.

Pour qu'Ollama utilise le GPU intégré, il faut définir les variables OLLAMA_VULKAN=1 et OLLAMA_IGPU_ENABLE=1. Après le redémarrage, Ollama a signalé 26,2 Go, et la commande ollama ps a affiché « 100% GPU » : toutes les couches du modèle résident sur le GPU.

Le matériel n'est pas devenu plus rapide pour autant, mais les modèles de 17 à 18 Go tiennent désormais en mémoire. Gemma, avec une fenêtre de contexte de 24 576 tokens, occupe 16 à 17 Go, Tiel-Coder 17 à 18 Go. Il reste 5 à 6 Go pour Windows et les autres applications, ce qui a suffi : OpenSCAD, Blender, SolidCraft et le compilateur arduino-cli ont tourné en parallèle du modèle.

Ce que montrent les mesures

L'auteur a comparé quatre modèles MoE : Gemma 4 26B-A4B, Tiel-Coder 35B-A3B (une adaptation tierce pour la programmation, basée sur l'architecture Qwen 3.5 MoE), GPT-OSS 20B et Qwen3-Coder 30B-A3B. Un modèle MoE compte de nombreux « experts », mais seule une petite fraction est activée pour chaque token : dans Gemma, environ 4 milliards de paramètres sur 25,2 milliards. Il faut donc autant de mémoire que pour un gros modèle, mais le calcul se rapproche de celui d'un petit.

Les tâches étaient d'ordre technique : un engrenage pour un Pip-Boy dans OpenSCAD et FreeCAD, une poignée dans Blender, un boîtier pour une carte ESP32-C3 dans SolidCraft via MCP. Pour chaque tâche, le modèle recevait une image de référence.

  • Vitesse de génération : Gemma 15,8 → 19,1 tokens/s (+21 %), Tiel-Coder 12,2 → 16,9 (+39 %).
  • La puissance moyenne du package processeur passe de 45 à 32–33 W. L'énergie par 1000 tokens de réponse baisse de 28 % avec Gemma et de 42 % avec Tiel-Coder.
  • Dans SolidCraft, le gain de temps n'est que de 5 à 7 % : le modèle passe l'essentiel de son temps à lire un long prompt de 30 à 60 mille tokens décrivant 13 outils. Le GPU y économise tout de même environ 40 % d'énergie.
  • La qualité des pièces ne dépend pas du périphérique de calcul : l'écart entre deux répétitions d'une même tâche dépasse la différence entre CPU et GPU.

Les 26 exécutions ont consommé au total environ 0,11 kWh, soit moins d'un rouble au tarif de 6,5 ₽ le kWh.

Les gabarits font tout

Sans gabarits de référence (par exemple, le code d'un engrenage de 30 dents pour une tâche portant sur un engrenage de 24 dents), aucun modèle n'a réussi, et l'auteur n'a pas pris ce mode en compte dans ses résultats. Avec un gabarit, les quatre modèles ont réalisé correctement les trois pièces, dès la première tentative.

Ce n'est alors pas l'« intelligence » du modèle qui fait la différence, mais la concision de ses réponses. GPT-OSS et Qwen3-Coder répondent plus court, sans commentaires superflus, et terminent donc deux fois plus vite que Gemma. Dans SolidCraft, GPT-OSS a obtenu le meilleur résultat : 55 secondes contre 114 à 154 pour les autres.

Tiel-Coder a consommé 2,4 fois plus de tokens en entrée que Gemma : chaque nouvelle tentative renvoie au modèle tout le dialogue précédent, et dans SolidCraft elle a effectué 13 tours là où Gemma s'en sortait en cinq. Pour les tâches simples avec un gabarit prêt, les modèles 8B se sont même révélés plus rapides et plus sobres que les grands : par exemple, l'engrenage a demandé 34 secondes à Qwen3 8B contre 65 à Gemma 26B.

Que faire en pratique

Si vous disposez d'un Core Ultra avec Arc intégré et de 32 Go de RAM, relevez Shared GPU Memory Override à 24–26 Go et activez Vulkan et l'iGPU dans Ollama. Fournissez au modèle un exemple de code prêt à l'emploi dans le prompt, et ne renvoyez pas tout le dialogue à chaque nouvelle tentative.

Il y a des réserves. Il s'agit du test d'un seul auteur sur une seule machine, et la comparaison CPU/GPU ne repose que sur 11 exécutions. Il a mesuré l'énergie avec les compteurs Intel RAPL, uniquement pour le package processeur ; la mémoire, le SSD, le ventilateur et l'alimentation ajoutent encore 20 à 30 %. La vitesse absolue reste modeste, environ 15–19 tokens/s, mais on obtient en échange un mini-PC silencieux et abordable plutôt qu'une carte graphique dédiée.

Dossier

Questions clés sur cet article

Que sait-on sur Un curseur à la place d'une carte graphique ?

Le matériel testé : processeur Intel Core Ultra 9 185H (16 cœurs, jusqu'à 5,1 GHz), GPU intégré Arc avec 8 cœurs Xe, 32 Go de DDR5-5600 en double canal. La limite de « mémoire vidéo virtuelle » se modifie dans Intel Graphics Software : « Paramètres — Système — Shared GPU Memory Override ». L'auteur a réglé 26 Go, soit plus de 80 % de la mémoire, puis redémarré l'ordinateur. Pour qu'Ollama utilise le GPU intégré, il faut définir les variables OLLAMA_VULKAN=1 et OLLAMA_IGPU_ENABLE=1.

Que sait-on sur Ce que montrent les mesures ?

L'auteur a comparé quatre modèles MoE : Gemma 4 26B-A4B, Tiel-Coder 35B-A3B (une adaptation tierce pour la programmation, basée sur l'architecture Qwen 3.5 MoE), GPT-OSS 20B et Qwen3-Coder 30B-A3B. Un modèle MoE compte de nombreux « experts », mais seule une petite fraction est activée pour chaque token : dans Gemma, environ 4 milliards de paramètres sur 25,2 milliards. Il faut donc autant de mémoire que pour un gros modèle, mais le calcul se rapproche de celui d'un petit.

Que sait-on sur Les gabarits font tout ?

Sans gabarits de référence (par exemple, le code d'un engrenage de 30 dents pour une tâche portant sur un engrenage de 24 dents), aucun modèle n'a réussi, et l'auteur n'a pas pris ce mode en compte dans ses résultats. Avec un gabarit, les quatre modèles ont réalisé correctement les trois pièces, dès la première tentative. Ce n'est alors pas l'« intelligence » du modèle qui fait la différence, mais la concision de ses réponses.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…