Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизКод / SDK · В работуHabr AI→ оригинал

Локальный GLM 5.3 ускорил ИИ на ESP32-S3 на 100%, Qwen 3.8 27B — на 30%

Автор собрал домашний сервер с двумя Tesla V100 за 113 105 ₽ и дал локальным моделям задачи без подробного ТЗ. Главный тест — ускорить маленькую языковую модель на микроконтроллере ESP32-S3, где движок был на чистом C. GLM 5.3 разогнал генерацию до ~20 токенов в секунду (+100%), Qwen 3.8 27B — до ~13 (+30%). Значит, и на бюджетной сборке локальные модели уже тянут низкоуровневую оптимизацию.

AI-обработка оригинала Habr AI; редакция Hamidun News
Локальный GLM 5.3 ускорил ИИ на ESP32-S3 на 100%, Qwen 3.8 27B — на 30%
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Логиты обеих версий совпадают с исходным движком байт в байт
Ключевой факт #2Qwen 3.8 Flash Next на задаче с ESP32 застрял и не продвинулся
Ключевой факт #3DeepSeek v4.1 Flash работает на 7–15 ток/с, поэтому в тестах не участвовал
Локальный GLM 5.3 ускорил ИИ на ESP32-S3 на 100%, Qwen 3.8 27B — на 30%
Видео-первоисточник / Демо
Если YouTube замедлен в вашем регионе — полный разбор и ключевые выводы приведены в тексте ниже.Открыть на YouTube ↗

Локальные нейросети обычно проверяют одними и теми же заданиями: «сделай клон Minecraft» или «нарисуй интерфейс Windows 11». Автор статьи на Хабре решил, что это скучно, собрал дома сервер за 113 105 ₽ и дал моделям нечёткие задачи, близкие к вайбкоду, когда вместо подробного ТЗ звучит «сделай хорошо». Самый наглядный пример — ESP32-S3, дешёвый микроконтроллер, на котором крутится маленькая языковая модель. Её движок был написан на чистом C, и моделям предстояло переписать его под векторные инструкции чипа. Скорость измеряют в токенах в секунду: GLM 5.3 дал около 20 (+100% к исходному), Qwen 3.8 27B — около 13 (+30%). Для практика это ответ на два вопроса: сколько стоит такая платформа и что на ней реально работает.

Что за сервер и с какой скоростью он отвечает

В сборку вошли процессор AMD EPYC 7452, плата HUANANZHI H12D 8D, 64 ГБ DDR4 (4 планки по 16 ГБ), две Nvidia V100 16 ГБ в формате SXM2 и SSD Samsung PM9A1 на 1 ТБ. Водяное охлаждение обошлось примерно в 50 тысяч рублей сверху, и автор советует его не повторять, если можно обойтись без кастомной воды. Цены даны на момент покупки полгода назад. EPYC выбран ради 128 линий PCIe 4.0 и восьми каналов DDR4. Эта плата, по словам автора, единственная под EPYC 2 и 3 поколений с четырьмя слотами x16 за адекватные деньги. У Supermicro h11ssl-i слотов только три, а остальные варианты стоят от 70 тысяч. Память спокойно разогналась до 2933.

Большие MoE-модели на таком железе запускаются благодаря проектам Strata и Maya: они экономно расходуют оперативную память и подгружают веса с SSD прямо во время работы. Скорость (первое число — обработка промпта, второе — генерация, оба в токенах в секунду):

  • Qwen 3.8 27B: 800–1000 и 50–70;
  • Qwen 3.8 Flash Next (125B): 500–1400 и 50–70;
  • GLM 5.3 Flash (320B): 200–600 и 15–20;
  • DeepSeek v4.1 Flash (763B): 180–250 и 7–15. Формально работает, но слишком медленно, поэтому в тестах не участвовал.

Работало всё под Windows 10 через opencode 1.19 с веб-поиском searxng. Qwen 27B запускался через llama.cpp с контекстом 196 608 токенов и спекулятивным декодингом MTP, который заметно ускоряет написание кода.

Как модели справились с задачами

Первая задача — консольный читатель чата на ANSI C с библиотекой WolfSSL. Рабочий код дали GLM, Qwen 27B и Qwen Flash Next, причём 27B пришлось вручную подсказать, что на Windows код не работает. Muse Spark нашёл нужный адрес, но проект не собрался, а проверку TLS он отключил. Gemma 4 взяла не тот URL и вместо WolfSSL вызвала curl через popen.

Вторая задача — ускорить движок esp32-ai на ESP32-S3 через esp-idf и векторные инструкции. Flash Next застрял и не продвинулся даже после нескольких сжатий контекста. Qwen 27B вышел на ~13 ток/с (+30%), используя функции библиотеки ESP-DSP. GLM 5.3 дошёл до ~20 ток/с (+100%), написав ассемблер под расширение PIE. Обе версии проверены: логиты совпадают с исходным движком байт в байт. Все модели оптимизировали блок head. У GLM получились почти те же оптимизации, что у Fable 5, которая выдала 22–31 ток/с. Разница в том, что Fable дополнительно ускорила блок attn.

Где результат слабее

Генератор никнеймов показал провал по креативности. Оба Qwen сделали псевдослова, GLM — только словосочетания, и всё украсили в духе 2012 года: «ледянойщит9», «обсидианель», «supernovaRoot». Автор ждал хотя бы цепей Маркова, но признаёт, что ТЗ было расплывчатым. К техническому исполнению замечаний почти нет.

В противоречивой задаче про анимацию фрактала Мандельброта (1080p, 60 fps, ANSI C, GPU на архитектуре Blackwell) C89 плохо сочетается с GPU, ведь CUDA это C++. По словам автора, 27B хотя бы смог этот фрактал нарисовать.

Ограничения и вывод

Это личные наблюдения одного автора: каждая задача запускалась в один заход, оценки частично субъективны. Названия моделей приведены так, как в источнике. Практический вывод: на сборке за ~113 тысяч рублей локальные модели решают задачи на C и embedded без подробного ТЗ. Для сложной низкоуровневой оптимизации GLM 5.3 показал лучший результат, а Qwen 3.8 27B в 3–4 раза быстрее по генерации и подходит для быстрых итераций. Результат любой модели всё равно стоит проверять.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что за сервер и с какой скоростью он отвечает?

В сборку вошли процессор AMD EPYC 7452, плата HUANANZHI H12D 8D, 64 ГБ DDR4 (4 планки по 16 ГБ), две Nvidia V100 16 ГБ в формате SXM2 и SSD Samsung PM9A1 на 1 ТБ. Водяное охлаждение обошлось примерно в 50 тысяч рублей сверху, и автор советует его не повторять, если можно обойтись без кастомной воды. Цены даны на момент покупки полгода назад. EPYC выбран ради 128 линий PCIe 4.0 и восьми каналов DDR4. Эта плата, по словам автора, единственная под EPYC 2 и 3 поколений с четырьмя слотами x16 за адекватные деньги.

Что известно по теме: как модели справились с задачами?

Первая задача — консольный читатель чата на ANSI C с библиотекой WolfSSL. Рабочий код дали GLM, Qwen 27B и Qwen Flash Next, причём 27B пришлось вручную подсказать, что на Windows код не работает. Muse Spark нашёл нужный адрес, но проект не собрался, а проверку TLS он отключил. Gemma 4 взяла не тот URL и вместо WolfSSL вызвала curl через popen. Вторая задача — ускорить движок esp32-ai на ESP32-S3 через esp-idf и векторные инструкции. Flash Next застрял и не продвинулся даже после нескольких сжатий контекста.

Что известно по теме: где результат слабее?

Генератор никнеймов показал провал по креативности. Оба Qwen сделали псевдослова, GLM — только словосочетания, и всё украсили в духе 2012 года: «ледянойщит9», «обсидианель», «supernovaRoot». Автор ждал хотя бы цепей Маркова, но признаёт, что ТЗ было расплывчатым. К техническому исполнению замечаний почти нет. В противоречивой задаче про анимацию фрактала Мандельброта (1080p, 60 fps, ANSI C, GPU на архитектуре Blackwell) C89 плохо сочетается с GPU, ведь CUDA это C++.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…