Локальный GLM 5.3 ускорил ИИ на ESP32-S3 на 100%, Qwen 3.8 27B — на 30%
Автор собрал домашний сервер с двумя Tesla V100 за 113 105 ₽ и дал локальным моделям задачи без подробного ТЗ. Главный тест — ускорить маленькую языковую модель на микроконтроллере ESP32-S3, где движок был на чистом C. GLM 5.3 разогнал генерацию до ~20 токенов в секунду (+100%), Qwen 3.8 27B — до ~13 (+30%). Значит, и на бюджетной сборке локальные модели уже тянут низкоуровневую оптимизацию.
AI-обработка оригинала Habr AI; редакция Hamidun News
Локальные нейросети обычно проверяют одними и теми же заданиями: «сделай клон Minecraft» или «нарисуй интерфейс Windows 11». Автор статьи на Хабре решил, что это скучно, собрал дома сервер за 113 105 ₽ и дал моделям нечёткие задачи, близкие к вайбкоду, когда вместо подробного ТЗ звучит «сделай хорошо». Самый наглядный пример — ESP32-S3, дешёвый микроконтроллер, на котором крутится маленькая языковая модель. Её движок был написан на чистом C, и моделям предстояло переписать его под векторные инструкции чипа. Скорость измеряют в токенах в секунду: GLM 5.3 дал около 20 (+100% к исходному), Qwen 3.8 27B — около 13 (+30%). Для практика это ответ на два вопроса: сколько стоит такая платформа и что на ней реально работает.
Что за сервер и с какой скоростью он отвечает
В сборку вошли процессор AMD EPYC 7452, плата HUANANZHI H12D 8D, 64 ГБ DDR4 (4 планки по 16 ГБ), две Nvidia V100 16 ГБ в формате SXM2 и SSD Samsung PM9A1 на 1 ТБ. Водяное охлаждение обошлось примерно в 50 тысяч рублей сверху, и автор советует его не повторять, если можно обойтись без кастомной воды. Цены даны на момент покупки полгода назад. EPYC выбран ради 128 линий PCIe 4.0 и восьми каналов DDR4. Эта плата, по словам автора, единственная под EPYC 2 и 3 поколений с четырьмя слотами x16 за адекватные деньги. У Supermicro h11ssl-i слотов только три, а остальные варианты стоят от 70 тысяч. Память спокойно разогналась до 2933.
Большие MoE-модели на таком железе запускаются благодаря проектам Strata и Maya: они экономно расходуют оперативную память и подгружают веса с SSD прямо во время работы. Скорость (первое число — обработка промпта, второе — генерация, оба в токенах в секунду):
- Qwen 3.8 27B: 800–1000 и 50–70;
- Qwen 3.8 Flash Next (125B): 500–1400 и 50–70;
- GLM 5.3 Flash (320B): 200–600 и 15–20;
- DeepSeek v4.1 Flash (763B): 180–250 и 7–15. Формально работает, но слишком медленно, поэтому в тестах не участвовал.
Работало всё под Windows 10 через opencode 1.19 с веб-поиском searxng. Qwen 27B запускался через llama.cpp с контекстом 196 608 токенов и спекулятивным декодингом MTP, который заметно ускоряет написание кода.
Как модели справились с задачами
Первая задача — консольный читатель чата на ANSI C с библиотекой WolfSSL. Рабочий код дали GLM, Qwen 27B и Qwen Flash Next, причём 27B пришлось вручную подсказать, что на Windows код не работает. Muse Spark нашёл нужный адрес, но проект не собрался, а проверку TLS он отключил. Gemma 4 взяла не тот URL и вместо WolfSSL вызвала curl через popen.
Вторая задача — ускорить движок esp32-ai на ESP32-S3 через esp-idf и векторные инструкции. Flash Next застрял и не продвинулся даже после нескольких сжатий контекста. Qwen 27B вышел на ~13 ток/с (+30%), используя функции библиотеки ESP-DSP. GLM 5.3 дошёл до ~20 ток/с (+100%), написав ассемблер под расширение PIE. Обе версии проверены: логиты совпадают с исходным движком байт в байт. Все модели оптимизировали блок head. У GLM получились почти те же оптимизации, что у Fable 5, которая выдала 22–31 ток/с. Разница в том, что Fable дополнительно ускорила блок attn.
Где результат слабее
Генератор никнеймов показал провал по креативности. Оба Qwen сделали псевдослова, GLM — только словосочетания, и всё украсили в духе 2012 года: «ледянойщит9», «обсидианель», «supernovaRoot». Автор ждал хотя бы цепей Маркова, но признаёт, что ТЗ было расплывчатым. К техническому исполнению замечаний почти нет.
В противоречивой задаче про анимацию фрактала Мандельброта (1080p, 60 fps, ANSI C, GPU на архитектуре Blackwell) C89 плохо сочетается с GPU, ведь CUDA это C++. По словам автора, 27B хотя бы смог этот фрактал нарисовать.
Ограничения и вывод
Это личные наблюдения одного автора: каждая задача запускалась в один заход, оценки частично субъективны. Названия моделей приведены так, как в источнике. Практический вывод: на сборке за ~113 тысяч рублей локальные модели решают задачи на C и embedded без подробного ТЗ. Для сложной низкоуровневой оптимизации GLM 5.3 показал лучший результат, а Qwen 3.8 27B в 3–4 раза быстрее по генерации и подходит для быстрых итераций. Результат любой модели всё равно стоит проверять.
- 19 нояб. 2026 г.MLPerf Training: кластеры на 10 240 GPU и ускорение обучения на 49% за полгода
- 19 нояб. 2026 г.CoreWeave оказалась до 65% дешевле гиперскейлеров на кластере Blackwell за 3 года
- 19 нояб. 2026 г.Открытый видеоредактор FilmCraft на Rust собрал 18,5 тыс. звёзд и пустил AI-агентов в движок
- 19 нояб. 2026 г.Skyflow в AgentCore Gateway прячет персональные данные от инструментов ИИ-агентов
Вопросы и ответы по материалу
Что известно по теме: что за сервер и с какой скоростью он отвечает?
В сборку вошли процессор AMD EPYC 7452, плата HUANANZHI H12D 8D, 64 ГБ DDR4 (4 планки по 16 ГБ), две Nvidia V100 16 ГБ в формате SXM2 и SSD Samsung PM9A1 на 1 ТБ. Водяное охлаждение обошлось примерно в 50 тысяч рублей сверху, и автор советует его не повторять, если можно обойтись без кастомной воды. Цены даны на момент покупки полгода назад. EPYC выбран ради 128 линий PCIe 4.0 и восьми каналов DDR4. Эта плата, по словам автора, единственная под EPYC 2 и 3 поколений с четырьмя слотами x16 за адекватные деньги.
Что известно по теме: как модели справились с задачами?
Первая задача — консольный читатель чата на ANSI C с библиотекой WolfSSL. Рабочий код дали GLM, Qwen 27B и Qwen Flash Next, причём 27B пришлось вручную подсказать, что на Windows код не работает. Muse Spark нашёл нужный адрес, но проект не собрался, а проверку TLS он отключил. Gemma 4 взяла не тот URL и вместо WolfSSL вызвала curl через popen. Вторая задача — ускорить движок esp32-ai на ESP32-S3 через esp-idf и векторные инструкции. Flash Next застрял и не продвинулся даже после нескольких сжатий контекста.
Что известно по теме: где результат слабее?
Генератор никнеймов показал провал по креативности. Оба Qwen сделали псевдослова, GLM — только словосочетания, и всё украсили в духе 2012 года: «ледянойщит9», «обсидианель», «supernovaRoot». Автор ждал хотя бы цепей Маркова, но признаёт, что ТЗ было расплывчатым. К техническому исполнению замечаний почти нет. В противоречивой задаче про анимацию фрактала Мандельброта (1080p, 60 fps, ANSI C, GPU на архитектуре Blackwell) C89 плохо сочетается с GPU, ведь CUDA это C++.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.
