Языковую модель на ESP32-S3 разогнали до 406 токенов/с — в 18 раз быстрее
Микроконтроллер ESP32-S3 за пару сотен рублей умеет запускать крошечную Llama-2 на 260 тысяч параметров, но известные проекты давали около 19 токенов в секунду. Автор перевёл веса в int8, написал ассемблерные ядра для векторных инструкций PIE, подключил второе ядро и переписал внимание. Итог — 406 токенов в секунду против 22,5 у наивной версии на одном ядре, причём выдаваемый текст проверен и совпадает с эталоном. Для embedded-разработчиков вывод простой: сначала сжимайте веса и выбирайте, где они лежат, а потом уже лезьте в ассемблер.
AI-обработка оригинала Habr AI; редакция Hamidun News
Запустить языковую модель на микроконтроллере за несколько сотен рублей — трюк скорее для хобби, но этот разбор полезен всем, кто выжимает скорость из ограниченного железа. Автор взял ESP32-S3 (два ядра Xtensa LX7 на 240 МГц, 512 КБ внутренней SRAM) и модель stories260K из коллекции tinyllamas Андрея Карпатого. Это настоящая Llama-2 с вниманием, RoPE и SwiGLU, всего на 259 328 параметров, обученная на детских историях TinyStories. Известный проект esp32-llm от DaveBben давал на этом чипе 19,13 токена в секунду. Здесь получилось 406 токенов в секунду, то есть примерно в 21 раз быстрее. Без разгона и внешних ускорителей.
Сначала проверка, потом ускорение
Ошибка в ассемблере не роняет программу, а тихо портит текст. Заметить это сложно: сказки про Лили и красный мяч и в исправном виде не шедевр. Поэтому автор построил цепочку проверок: эталон на numpy, симулятор прошивки с теми же квантованием и порядком float-операций, C-движок на компьютере (совпадает с симулятором бит в бит на 200 шагах), эмулятор QEMU от Espressif и, наконец, сама плата. На плате все режимы выдают те же токены, что и симулятор, а расхождение логитов не больше 5·10⁻⁸.
Четыре шага ускорения
int8 и место для весов. Веса в int8 с одним масштабом на строку матрицы ужали модель с 1013 до 274 КБ. Качество почти не страдает: перплексия растёт на 0,0%, а весь конвейер с int8-активациями и KV-кэшем даёт +0,7%. Четыре бита уже разрушительны: +24,4% для масштаба на строку и +14,5% для масштаба на 16 весов. Переход на int8 в той же PSRAM ускорил генерацию в 2,5 раза: узким местом было чтение памяти, а не арифметика. Флеш через XIP почти не уступает PSRAM (53,3 против 55,3 ток/с), а внутренняя SRAM дала ещё 71,7.
Векторные инструкции PIE. Расширение с 128-битными регистрами умеет за одну инструкцию ee.vmulas.s8.accx перемножить 16 пар int8 и добавить к аккумулятору. Компилятор такое не генерирует, поэтому ядро написано на ассемблере. Размерность модели 64 укладывается в четыре регистра, так что входной вектор загружается один раз. Матрицы Q, K, V склеены в одну, как и W1 с W3: четыре умножения на слой вместо семи. Результат: 71,7 → 175,2 ток/с.
Второе ядро. Матрицы крошечные, и семафор FreeRTOS съел бы весь выигрыш, поэтому второе ядро крутится на volatile-счётчике, а вне генерации спит. Сторожевой таймер пришлось отключить. Результат: 285,5 ток/с, ×1,63. До двух раз не дотянули: RMSNorm, RoPE, SwiGLU и выбор токена остаются последовательными.
Внимание. После ускорения матриц на него приходилось 72% времени, классический закон Амдала. Автор обрабатывает две головы запросов, делящие одну KV-голову, за один проход и разбивает счёт так, чтобы всё влезло в 16 регистров FPU (в дизассемблере было 81 обращение к стеку). Средняя скорость на 128 токенах выросла до 406,1 ток/с. Перевод Q·K в целые числа ничего не дал: 403,6 против 406,1.
Бухгалтерия килобайтов
Самая неожиданная часть — память. Веса (274 КБ), активации и KV-кэш (около 360 байт на токен) должны уместиться в SRAM. После загрузки ESP-IDF оставалось 335 КБ, контекст влезал на 96 токенов. Перенос кода FreeRTOS, кучи и драйвера флеша из IRAM во флеш, кэш инструкций 16 КБ, маленькие буферы UART/USB и таблица RoPE во флеше освободили место: 363 КБ и контекст в 160 токенов. Вывод автора: 260 тысяч параметров в int8 — почти потолок для SRAM этого чипа, всё больше придётся читать из флеша или PSRAM.
Что это значит на практике
Честно: применения у такой модели нет, она умеет только сочинять детские сказки, и автор сам это признаёт. Зато уроки переносимы. Квантование и правильное размещение весов дают больше хитрых трюков, на каждом шаге узкое место переезжает (память, скалярный цикл, внимание, теперь деления и нормализации), а без бит-в-бит проверки оптимизации на низком уровне делать опасно. Код, ассемблерные ядра, симулятор и скрипт замеров лежат на GitHub (nikuson/esp32-llm). Следующая цель автора — stories15M прямо из флеша, модель в 60 раз больше.
- 18 нояб. 2026 г.LLM на VPS без видеокарты: 4B-модели сортируют обращения с точностью 90% за 3–5 с
- 18 нояб. 2026 г.Сжатая Bonsai 2 27B на карте 2017 года выдала 17 токенов/с, а Qwen3 8B — 32
- 18 нояб. 2026 г.OpenAI выпустила GPT-6.2 Astra: второе место в рейтинге и цена ниже на 20%
- 18 нояб. 2026 г.После сбоя агенты откатывают работу лишь в 47% случаев, хотя решают 84% задач
Вопросы и ответы по материалу
Что известно по теме: сначала проверка, потом ускорение?
Ошибка в ассемблере не роняет программу, а тихо портит текст. Заметить это сложно: сказки про Лили и красный мяч и в исправном виде не шедевр. Поэтому автор построил цепочку проверок: эталон на numpy, симулятор прошивки с теми же квантованием и порядком float-операций, C-движок на компьютере (совпадает с симулятором бит в бит на 200 шагах), эмулятор QEMU от Espressif и, наконец, сама плата. На плате все режимы выдают те же токены, что и симулятор, а расхождение логитов не больше 5·10⁻⁸.
Что известно по теме: четыре шага ускорения?
int8 и место для весов. Веса в int8 с одним масштабом на строку матрицы ужали модель с 1013 до 274 КБ. Качество почти не страдает: перплексия растёт на 0,0%, а весь конвейер с int8-активациями и KV-кэшем даёт +0,7%. Четыре бита уже разрушительны: +24,4% для масштаба на строку и +14,5% для масштаба на 16 весов. Переход на int8 в той же PSRAM ускорил генерацию в 2,5 раза: узким местом было чтение памяти, а не арифметика.
Что известно по теме: бухгалтерия килобайтов?
Самая неожиданная часть — память. Веса (274 КБ), активации и KV-кэш (около 360 байт на токен) должны уместиться в SRAM. После загрузки ESP-IDF оставалось 335 КБ, контекст влезал на 96 токенов. Перенос кода FreeRTOS, кучи и драйвера флеша из IRAM во флеш, кэш инструкций 16 КБ, маленькие буферы UART/USB и таблица RoPE во флеше освободили место: 363 КБ и контекст в 160 токенов. Вывод автора: 260 тысяч параметров в int8 — почти потолок для SRAM этого чипа, всё больше придётся читать из флеша или PSRAM.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.