Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизОткрытые веса · В работуHabr AI→ оригинал

Языковую модель на ESP32-S3 разогнали до 406 токенов/с — в 18 раз быстрее

Микроконтроллер ESP32-S3 за пару сотен рублей умеет запускать крошечную Llama-2 на 260 тысяч параметров, но известные проекты давали около 19 токенов в секунду. Автор перевёл веса в int8, написал ассемблерные ядра для векторных инструкций PIE, подключил второе ядро и переписал внимание. Итог — 406 токенов в секунду против 22,5 у наивной версии на одном ядре, причём выдаваемый текст проверен и совпадает с эталоном. Для embedded-разработчиков вывод простой: сначала сжимайте веса и выбирайте, где они лежат, а потом уже лезьте в ассемблер.

AI-обработка оригинала Habr AI; редакция Hamidun News
Языковую модель на ESP32-S3 разогнали до 406 токенов/с — в 18 раз быстрее
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Int8 вместо float32 дал ×2,5упирались в чтение памяти, а не в вычисления
Векторные инструкции PIE71,7 → 175,2 ток/с, второе ядро: до 285,5
Ключевой факт #3Модель в 274 КБ почти заполняет внутреннюю SRAM чипа в 512 КБ

Запустить языковую модель на микроконтроллере за несколько сотен рублей — трюк скорее для хобби, но этот разбор полезен всем, кто выжимает скорость из ограниченного железа. Автор взял ESP32-S3 (два ядра Xtensa LX7 на 240 МГц, 512 КБ внутренней SRAM) и модель stories260K из коллекции tinyllamas Андрея Карпатого. Это настоящая Llama-2 с вниманием, RoPE и SwiGLU, всего на 259 328 параметров, обученная на детских историях TinyStories. Известный проект esp32-llm от DaveBben давал на этом чипе 19,13 токена в секунду. Здесь получилось 406 токенов в секунду, то есть примерно в 21 раз быстрее. Без разгона и внешних ускорителей.

Сначала проверка, потом ускорение

Ошибка в ассемблере не роняет программу, а тихо портит текст. Заметить это сложно: сказки про Лили и красный мяч и в исправном виде не шедевр. Поэтому автор построил цепочку проверок: эталон на numpy, симулятор прошивки с теми же квантованием и порядком float-операций, C-движок на компьютере (совпадает с симулятором бит в бит на 200 шагах), эмулятор QEMU от Espressif и, наконец, сама плата. На плате все режимы выдают те же токены, что и симулятор, а расхождение логитов не больше 5·10⁻⁸.

Четыре шага ускорения

int8 и место для весов. Веса в int8 с одним масштабом на строку матрицы ужали модель с 1013 до 274 КБ. Качество почти не страдает: перплексия растёт на 0,0%, а весь конвейер с int8-активациями и KV-кэшем даёт +0,7%. Четыре бита уже разрушительны: +24,4% для масштаба на строку и +14,5% для масштаба на 16 весов. Переход на int8 в той же PSRAM ускорил генерацию в 2,5 раза: узким местом было чтение памяти, а не арифметика. Флеш через XIP почти не уступает PSRAM (53,3 против 55,3 ток/с), а внутренняя SRAM дала ещё 71,7.

Векторные инструкции PIE. Расширение с 128-битными регистрами умеет за одну инструкцию ee.vmulas.s8.accx перемножить 16 пар int8 и добавить к аккумулятору. Компилятор такое не генерирует, поэтому ядро написано на ассемблере. Размерность модели 64 укладывается в четыре регистра, так что входной вектор загружается один раз. Матрицы Q, K, V склеены в одну, как и W1 с W3: четыре умножения на слой вместо семи. Результат: 71,7 → 175,2 ток/с.

Второе ядро. Матрицы крошечные, и семафор FreeRTOS съел бы весь выигрыш, поэтому второе ядро крутится на volatile-счётчике, а вне генерации спит. Сторожевой таймер пришлось отключить. Результат: 285,5 ток/с, ×1,63. До двух раз не дотянули: RMSNorm, RoPE, SwiGLU и выбор токена остаются последовательными.

Внимание. После ускорения матриц на него приходилось 72% времени, классический закон Амдала. Автор обрабатывает две головы запросов, делящие одну KV-голову, за один проход и разбивает счёт так, чтобы всё влезло в 16 регистров FPU (в дизассемблере было 81 обращение к стеку). Средняя скорость на 128 токенах выросла до 406,1 ток/с. Перевод Q·K в целые числа ничего не дал: 403,6 против 406,1.

Бухгалтерия килобайтов

Самая неожиданная часть — память. Веса (274 КБ), активации и KV-кэш (около 360 байт на токен) должны уместиться в SRAM. После загрузки ESP-IDF оставалось 335 КБ, контекст влезал на 96 токенов. Перенос кода FreeRTOS, кучи и драйвера флеша из IRAM во флеш, кэш инструкций 16 КБ, маленькие буферы UART/USB и таблица RoPE во флеше освободили место: 363 КБ и контекст в 160 токенов. Вывод автора: 260 тысяч параметров в int8 — почти потолок для SRAM этого чипа, всё больше придётся читать из флеша или PSRAM.

Что это значит на практике

Честно: применения у такой модели нет, она умеет только сочинять детские сказки, и автор сам это признаёт. Зато уроки переносимы. Квантование и правильное размещение весов дают больше хитрых трюков, на каждом шаге узкое место переезжает (память, скалярный цикл, внимание, теперь деления и нормализации), а без бит-в-бит проверки оптимизации на низком уровне делать опасно. Код, ассемблерные ядра, симулятор и скрипт замеров лежат на GitHub (nikuson/esp32-llm). Следующая цель автора — stories15M прямо из флеша, модель в 60 раз больше.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: сначала проверка, потом ускорение?

Ошибка в ассемблере не роняет программу, а тихо портит текст. Заметить это сложно: сказки про Лили и красный мяч и в исправном виде не шедевр. Поэтому автор построил цепочку проверок: эталон на numpy, симулятор прошивки с теми же квантованием и порядком float-операций, C-движок на компьютере (совпадает с симулятором бит в бит на 200 шагах), эмулятор QEMU от Espressif и, наконец, сама плата. На плате все режимы выдают те же токены, что и симулятор, а расхождение логитов не больше 5·10⁻⁸.

Что известно по теме: четыре шага ускорения?

int8 и место для весов. Веса в int8 с одним масштабом на строку матрицы ужали модель с 1013 до 274 КБ. Качество почти не страдает: перплексия растёт на 0,0%, а весь конвейер с int8-активациями и KV-кэшем даёт +0,7%. Четыре бита уже разрушительны: +24,4% для масштаба на строку и +14,5% для масштаба на 16 весов. Переход на int8 в той же PSRAM ускорил генерацию в 2,5 раза: узким местом было чтение памяти, а не арифметика.

Что известно по теме: бухгалтерия килобайтов?

Самая неожиданная часть — память. Веса (274 КБ), активации и KV-кэш (около 360 байт на токен) должны уместиться в SRAM. После загрузки ESP-IDF оставалось 335 КБ, контекст влезал на 96 токенов. Перенос кода FreeRTOS, кучи и драйвера флеша из IRAM во флеш, кэш инструкций 16 КБ, маленькие буферы UART/USB и таблица RoPE во флеше освободили место: 363 КБ и контекст в 160 токенов. Вывод автора: 260 тысяч параметров в int8 — почти потолок для SRAM этого чипа, всё больше придётся читать из флеша или PSRAM.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…