Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Un modèle de langage sur ESP32-S3 poussé à 406 tokens/s, 18 fois plus vite

Le microcontrôleur ESP32-S3, vendu quelques centaines de roubles, peut exécuter une minuscule Llama-2 de 260 000 paramètres. Les projets connus plafonnaient pourtant autour de 19 tokens par seconde. L'auteur a converti les poids en int8, écrit des noyaux assembleur pour les instructions vectorielles PIE, mis à contribution le second cœur et réécrit le calcul de l'attention. Résultat : 406 tokens par seconde, contre 22,5 pour la version naïve sur un seul cœur. Le texte généré a été vérifié et correspond à la référence. La leçon pour les développeurs embarqués est simple : commencez par compresser les poids et choisir où les stocker, ne descendez en assembleur qu'ensuite.

Traité par IA depuis Habr AI ; édité par Hamidun News
Un modèle de langage sur ESP32-S3 poussé à 406 tokens/s, 18 fois plus vite
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Int8 au lieu de float32×2,5. Le goulot d'étranglement était la lecture mémoire, pas le calcul
Instructions vectorielles PIE71,7 → 175,2 tok/s ; second cœur : jusqu'à 285,5
Chiffre clé #3Avec 274 Ko, le modèle remplit presque toute la SRAM interne de 512 Ko de la puce

Faire tourner un modèle de langage sur un microcontrôleur à quelques centaines de roubles relève plutôt du passe-temps de bricoleur. Mais cette analyse intéressera tous ceux qui cherchent à tirer le maximum d'un matériel limité. L'auteur est parti d'un ESP32-S3 (deux cœurs Xtensa LX7 à 240 MHz, 512 Ko de SRAM interne) et du modèle stories260K, issu de la collection tinyllamas d'Andrej Karpathy. C'est une véritable Llama-2, avec attention, RoPE et SwiGLU, pour seulement 259 328 paramètres, entraînée sur les histoires pour enfants de TinyStories. Le projet esp32-llm de DaveBben, une référence sur cette puce, atteignait 19,13 tokens par seconde. Ici, on arrive à 406 tokens par seconde, soit environ 21 fois plus vite. Sans overclocking ni accélérateur externe.

D'abord la vérification, ensuite l'accélération

Une erreur dans le code assembleur ne fait pas planter le programme : elle corrompt le texte en silence. Difficile de s'en apercevoir, car les contes sur Lily et son ballon rouge ne sont déjà pas des chefs-d'œuvre quand tout fonctionne. L'auteur a donc bâti une chaîne de vérifications : une référence en numpy, un simulateur du firmware reproduisant la même quantification et le même ordre des opérations en virgule flottante, un moteur C sur PC (identique au simulateur bit à bit sur 200 pas), l'émulateur QEMU d'Espressif et, enfin, la carte elle-même. Sur la carte, tous les modes produisent les mêmes tokens que le simulateur, avec un écart de logits d'au plus 5·10⁻⁸.

Quatre étapes d'accélération

int8 et emplacement des poids. Des poids en int8, avec un facteur d'échelle par ligne de matrice, ont réduit le modèle de 1013 à 274 Ko. La qualité souffre à peine : la perplexité augmente de 0,0%, et l'ensemble du pipeline avec activations int8 et KV-cache donne +0,7%. Quatre bits sont déjà destructeurs : +24,4% avec une échelle par ligne et +14,5% avec une échelle pour 16 poids. Le passage à l'int8 a accéléré la génération de 2,5 fois, en restant dans la même PSRAM : le goulot d'étranglement était la lecture mémoire, pas l'arithmétique. La flash via XIP fait presque jeu égal avec la PSRAM (53,3 contre 55,3 tok/s), et la SRAM interne a permis d'atteindre 71,7.

Instructions vectorielles PIE. Cette extension, dotée de registres de 128 bits, multiplie 16 paires d'int8 et ajoute le résultat à l'accumulateur en une seule instruction, ee.vmulas.s8.accx. Le compilateur ne génère pas ce type d'instruction : le noyau est donc écrit en assembleur. La dimension du modèle, 64, tient dans quatre registres, si bien que le vecteur d'entrée n'est chargé qu'une fois. Les matrices Q, K, V sont fusionnées en une seule, tout comme W1 et W3 : quatre multiplications par couche au lieu de sept. Résultat : 71,7 → 175,2 tok/s.

Le second cœur. Les matrices sont minuscules : un sémaphore FreeRTOS aurait annulé tout le gain. Le second cœur tourne donc en boucle sur un compteur volatile et se met en veille en dehors de la génération. Il a fallu désactiver le watchdog. Résultat : 285,5 tok/s, soit ×1,63. Le doublement n'est pas atteint, car RMSNorm, RoPE, SwiGLU et le choix du token restent séquentiels.

L'attention. Une fois les matrices accélérées, elle représentait 72% du temps : un cas d'école de la loi d'Amdahl. L'auteur traite en une seule passe les deux têtes de requêtes qui partagent une même tête KV. Il découpe aussi le calcul pour que tout tienne dans les 16 registres du FPU (le désassemblage montrait 81 accès à la pile). La vitesse moyenne sur 128 tokens grimpe à 406,1 tok/s. Convertir Q·K en entiers n'a rien apporté : 403,6 contre 406,1.

La comptabilité des kilo-octets

La partie la plus inattendue concerne la mémoire. Les poids (274 Ko), les activations et le KV-cache (environ 360 octets par token) doivent tenir dans la SRAM. Après le chargement d'ESP-IDF, il restait 335 Ko, et le contexte ne pouvait contenir que 96 tokens.

Plusieurs mesures ont libéré de la place : déplacer le code FreeRTOS, le tas et le pilote flash de l'IRAM vers la flash, un cache d'instructions de 16 Ko, de petits tampons UART/USB et la table RoPE conservée en flash. Résultat : 363 Ko disponibles et un contexte de 160 tokens. Pour l'auteur, 260 000 paramètres en int8 constituent presque le plafond pour la SRAM de cette puce : au-delà, il faudra lire de plus en plus de données depuis la flash ou la PSRAM.

Ce que cela change en pratique

Soyons honnêtes : ce modèle n'a aucune application pratique. Il ne sait que composer des contes pour enfants, et l'auteur le reconnaît lui-même. Mais les enseignements sont transposables. La quantification et le bon placement des poids rapportent plus que les astuces sophistiquées. À chaque étape, le goulot d'étranglement se déplace (la mémoire, la boucle scalaire, l'attention, et maintenant les divisions et les normalisations). Enfin, sans vérification bit à bit, optimiser à bas niveau est dangereux. Le code, les noyaux assembleur, le simulateur et le script de mesure sont disponibles sur GitHub (nikuson/esp32-llm). Le prochain objectif de l'auteur : stories15M directement depuis la flash, un modèle 60 fois plus gros.

Dossier

Questions clés sur cet article

Que sait-on sur D'abord la vérification, ensuite l'accélération ?

Une erreur dans le code assembleur ne fait pas planter le programme : elle corrompt le texte en silence. Difficile de s'en apercevoir, car les contes sur Lily et son ballon rouge ne sont déjà pas des chefs-d'œuvre quand tout fonctionne.

Que sait-on sur Quatre étapes d'accélération ?

int8 et emplacement des poids. Des poids en int8, avec un facteur d'échelle par ligne de matrice, ont réduit le modèle de 1013 à 274 Ko. La qualité souffre à peine : la perplexité augmente de 0,0%, et l'ensemble du pipeline avec activations int8 et KV-cache donne +0,7%. Quatre bits sont déjà destructeurs : +24,4% avec une échelle par ligne et +14,5% avec une échelle pour 16 poids.

Que sait-on sur La comptabilité des kilo-octets ?

La partie la plus inattendue concerne la mémoire. Les poids (274 Ko), les activations et le KV-cache (environ 360 octets par token) doivent tenir dans la SRAM. Après le chargement d'ESP-IDF, il restait 335 Ko, et le contexte ne pouvait contenir que 96 tokens. Plusieurs mesures ont libéré de la place : déplacer le code FreeRTOS, le tas et le pilote flash de l'IRAM vers la flash, un cache d'instructions de 16 Ko, de petits tampons UART/USB et la table RoPE conservée en flash.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…