Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Le GLM 5.3 local accélère une IA sur ESP32-S3 de 100%, Qwen 3.8 27B de 30%

L'auteur a monté un serveur domestique avec deux Tesla V100 pour 113 105 ₽ et a confié aux modèles locaux des tâches sans cahier des charges détaillé. Le test principal consistait à accélérer un petit modèle de langage sur le microcontrôleur ESP32-S3, dont le moteur était écrit en C pur. GLM 5.3 a porté la génération à ~20 tokens par seconde (+100%), Qwen 3.8 27B à ~13 (+30%). Même sur une configuration à budget limité, les modèles locaux savent donc déjà s'attaquer à l'optimisation bas niveau.

Traité par IA depuis Habr AI ; édité par Hamidun News
Le GLM 5.3 local accélère une IA sur ESP32-S3 de 100%, Qwen 3.8 27B de 30%
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Les logits des deux versions correspondent à ceux du moteur d'origine octet pour octet
Chiffre clé #2Qwen 3.8 Flash Next est resté bloqué sur la tâche ESP32 et n'a pas progressé
Chiffre clé #3DeepSeek v4.1 Flash tourne à 7–15 tokens/s et n'a donc pas participé aux tests
Le GLM 5.3 local accélère une IA sur ESP32-S3 de 100%, Qwen 3.8 27B de 30%
Vidéo à la une / Démo
Cliquez pour lire la vidéo originale ou consultez l'analyse complète ci-dessous.Voir sur YouTube ↗

Les réseaux de neurones locaux sont généralement testés avec les mêmes exercices : « fais un clone de Minecraft » ou « dessine l'interface de Windows 11 ». L'auteur d'un article publié sur Habr a jugé cela ennuyeux. Il a monté un serveur chez lui pour 113 105 ₽ et soumis aux modèles des tâches floues, proches du vibe coding, où l'on dit simplement « fais bien » au lieu de fournir un cahier des charges détaillé.

L'exemple le plus parlant concerne l'ESP32-S3, un microcontrôleur bon marché sur lequel tourne un petit modèle de langage. Son moteur était écrit en C pur, et les modèles devaient le réécrire pour exploiter les instructions vectorielles de la puce. La vitesse se mesure en tokens par seconde : GLM 5.

3 atteint environ 20 (+100% par rapport à l'original), Qwen 3.8 27B environ 13 (+30%). Pour un praticien, cela répond à deux questions : combien coûte une telle plateforme, et ce qui y fonctionne réellement.

Quel serveur, et à quelle vitesse répond-il ?

La configuration comprend un processeur AMD EPYC 7452, une carte HUANANZHI H12D 8D, 64 Go de DDR4 (4 barrettes de 16 Go), deux Nvidia V100 16 Go au format SXM2 et un SSD Samsung PM9A1 de 1 To. Le refroidissement liquide a coûté environ 50 mille roubles de plus ; l'auteur déconseille de le reproduire si l'on peut se passer d'un circuit d'eau sur mesure. Les prix sont ceux de l'achat, il y a six mois.

L'EPYC a été choisi pour ses 128 lignes PCIe 4.0 et ses huit canaux DDR4. Selon l'auteur, cette carte est la seule pour EPYC de 2e et 3e génération à offrir quatre slots x16 à un prix raisonnable.

La Supermicro h11ssl-i n'en a que trois, et les autres options coûtent à partir de 70 mille. La mémoire a été overclockée sans difficulté jusqu'à 2933.

Les gros modèles MoE tournent sur ce matériel grâce aux projets Strata et Maya : ils ménagent la mémoire vive et chargent les poids depuis le SSD à la volée. Vitesses (le premier chiffre correspond au traitement du prompt, le second à la génération, tous deux en tokens par seconde) :

  • Qwen 3.8 27B : 800–1000 et 50–70 ;
  • Qwen 3.8 Flash Next (125B) : 500–1400 et 50–70 ;
  • GLM 5.3 Flash (320B) : 200–600 et 15–20 ;
  • DeepSeek v4.1 Flash (763B) : 180–250 et 7–15. Il fonctionne sur le papier, mais trop lentement : il n'a donc pas participé aux tests.

Tout tournait sous Windows 10 via opencode 1.19, avec la recherche web searxng. Qwen 27B a été lancé via llama.cpp avec un contexte de 196 608 tokens et le décodage spéculatif MTP, qui accélère nettement l'écriture de code.

Comment les modèles ont traité les tâches

La première tâche consistait à écrire un lecteur de chat en console en ANSI C, avec la bibliothèque WolfSSL. GLM, Qwen 27B et Qwen Flash Next ont fourni un code fonctionnel, même s'il a fallu indiquer manuellement à Qwen 27B que le code ne fonctionnait pas sous Windows. Muse Spark a trouvé la bonne adresse, mais le projet ne s'est pas compilé, et il a désactivé la vérification TLS. Gemma 4 a pris la mauvaise URL et, au lieu de WolfSSL, a appelé curl via popen.

La deuxième tâche consistait à accélérer le moteur esp32-ai sur ESP32-S3 avec esp-idf et les instructions vectorielles. Flash Next est resté bloqué et n'a pas progressé, même après plusieurs compressions de contexte. Qwen 27B a atteint ~13 tokens/s (+30%) en s'appuyant sur les fonctions de la bibliothèque ESP-DSP. GLM 5.3 est monté à ~20 tokens/s (+100%) en écrivant de l'assembleur pour l'extension PIE. Les deux versions ont été vérifiées : les logits correspondent à ceux du moteur d'origine octet pour octet. Tous les modèles ont optimisé le bloc head. GLM a abouti à presque les mêmes optimisations que Fable 5, qui a atteint 22–31 tokens/s. La différence : Fable a en plus accéléré le bloc attn.

Là où le résultat est plus faible

Le générateur de pseudos s'est soldé par un échec sur le plan de la créativité. Les deux Qwen ont produit des pseudo-mots, GLM uniquement des groupes de mots, et tous ont tout décoré dans l'esprit de 2012 : « ледянойщит9 », « обсидианель », « supernovaRoot ». L'auteur attendait au moins des chaînes de Markov, mais reconnaît que son cahier des charges était vague. Il n'y a presque rien à redire sur l'exécution technique.

Dans la tâche contradictoire d'animation de la fractale de Mandelbrot (1080p, 60 fps, ANSI C, GPU d'architecture Blackwell), le C89 s'accorde mal avec le GPU, puisque CUDA, c'est du C++. Selon l'auteur, 27B a au moins réussi à dessiner cette fractale.

Limites et conclusion

Ce sont les observations personnelles d'un seul auteur : chaque tâche n'a été lancée qu'une seule fois, et les évaluations sont en partie subjectives. Les noms des modèles sont repris tels qu'ils figurent dans la source. Conclusion pratique : sur une configuration à ~113 mille roubles, les modèles locaux résolvent des tâches en C et en embarqué sans cahier des charges détaillé. Pour une optimisation bas niveau complexe, GLM 5.3 a donné le meilleur résultat, tandis que Qwen 3.8 27B est 3 à 4 fois plus rapide en génération et convient aux itérations rapides. Le résultat de n'importe quel modèle mérite de toute façon d'être vérifié.

Dossier

Questions clés sur cet article

Quel serveur, et à quelle vitesse répond-il ?

La configuration comprend un processeur AMD EPYC 7452, une carte HUANANZHI H12D 8D, 64 Go de DDR4 (4 barrettes de 16 Go), deux Nvidia V100 16 Go au format SXM2 et un SSD Samsung PM9A1 de 1 To. Le refroidissement liquide a coûté environ 50 mille roubles de plus ; l'auteur déconseille de le reproduire si l'on peut se passer d'un circuit d'eau sur mesure. Les prix sont ceux de l'achat, il y a six mois. L'EPYC a été choisi pour ses 128 lignes PCIe 4.0 et ses huit canaux DDR4.

Comment les modèles ont traité les tâches?

La première tâche consistait à écrire un lecteur de chat en console en ANSI C, avec la bibliothèque WolfSSL. GLM, Qwen 27B et Qwen Flash Next ont fourni un code fonctionnel, même s'il a fallu indiquer manuellement à Qwen 27B que le code ne fonctionnait pas sous Windows. Muse Spark a trouvé la bonne adresse, mais le projet ne s'est pas compilé, et il a désactivé la vérification TLS. Gemma 4 a pris la mauvaise URL et, au lieu de WolfSSL, a appelé curl via popen.

Que sait-on sur Là où le résultat est plus faible ?

Le générateur de pseudos s'est soldé par un échec sur le plan de la créativité. Les deux Qwen ont produit des pseudo-mots, GLM uniquement des groupes de mots, et tous ont tout décoré dans l'esprit de 2012 : « ледянойщит9 », « обсидианель », « supernovaRoot ». L'auteur attendait au moins des chaînes de Markov, mais reconnaît que son cahier des charges était vague. Il n'y a presque rien à redire sur l'exécution technique.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…