Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураРазбор · На радарХабр: Машинное обучение→ оригинал

Gemma 4 на мини-ПК пишет 63 токена в секунду, Qwen3.8 — лишь 12,8: тест 14 LLM

Автор с Хабра 86 часов гонял 14 локальных нейросетей на мини-ПК с чипом Ryzen AI Max+ 395 и 96 ГБ памяти. Плотная Qwen3.8 27B пишет 12,8 токена в секунду, а Gemma 4 26B A4B, где на каждое слово работает лишь часть параметров, — 63, почти в пять раз быстрее. Зато длинные документы лучше всех читает Qwen3.8, её автор и оставил для сложных задач. Для живого чата берите быструю модель, для тяжёлой фоновой работы — плотную.

AI-обработка оригинала Хабр: Машинное обучение; редакция Hamidun News
Gemma 4 на мини-ПК пишет 63 токена в секунду, Qwen3.8 — лишь 12,8: тест 14 LLM
Источник: Хабр: Машинное обучение. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникХабр: Машинное обучение ↗
Главный редактор
Ключевой факт #1Windows отдал видеоядру максимум 48 ГБ памяти, Ubuntu — 80 ГиБ
Ключевой факт #2200K токенов контекста модели читают от 8 до 23 минут
Ключевой факт #3Gemma 4 26B Uncensored ведёт чат-бота, Qwen3.8 27B с MTP — фон

Два локальных чат-бота на одном и том же компактном компьютере могут отвечать с разницей в пять раз, хотя файлы моделей почти одинакового размера. Автор разбора на Хабре неделю, 86 часов, гонял 14 локальных нейросетей на мини-ПК GMKtec EVO-X2. Внутри процессор Ryzen AI Max+ 395 со встроенным видеоядром Radeon 8060S и 96 ГБ памяти, которую процессор и графика делят между собой. Скорость он измерял в токенах в секунду: токен — это кусочек слова, и чем их больше, тем быстрее текст появляется на экране. Плотная Qwen3.8 27B выдала 12,8 токена в секунду, а Gemma 4 26B A4B — 63. Если вы думаете, что из облака можно забрать себе часть задач, эти цифры помогут выбрать и модель, и железо.

Что за стенд и зачем он понадобился

Софт на машине: Ubuntu 26.04, LM Studio 0.4.28 и движок llama.cpp на Vulkan. Все слои модели лежали на GPU, Flash Attention был включён, запросы шли по одному. Почти все модели взяты в сжатом виде Q4 (веса хранятся в четырёх битах, чтобы занимать меньше памяти), исключение — gpt-oss-20b в формате MXFP4. Контекст, то есть объём текста, который модель держит перед глазами, проверяли на 64K, 128K и 256K токенов. Три модели умеют только до 128K. Автор честно признаёт упущение: тип квантования KV-кэша он не записал, так что повторить условия до мелочей не получится.

Первый практический урок касается операционной системы. Для локальных LLM важно, сколько памяти удаётся отдать видеоядру. На Windows в версии с 96 ГБ больше 48 ГБ выделить не вышло, на Linux получилось 80 ГиБ. Поэтому мини-ПК работает на Ubuntu. Если вы берёте похожую платформу под большие модели, проверяйте этот лимит до покупки.

Машина появилась по двум причинам: её привезли из Китая, а потом случилась атака на дата-центр Яндекса. Агенты автора работали в Яндекс Облаке, и он остался без привычных инструментов. Окупаемость он не считал и передовыми облачными моделями продолжит пользоваться, пока есть такая возможность. Вопрос был практический: что из повседневной работы можно целиком отдать локальным моделям.

Скорость: размер файла ничего не обещает

В отборочном круге участвовали 12 моделей. В финал вышли четыре лидера и два новых претендента, которых докачали уже после отбора, так что всего через тесты прошло 14. Самый наглядный результат касается устройства моделей. Плотная Qwen3.8 27B выдаёт 12,8 токена в секунду. Модель Gemma 4 26B A4B на том же железе даёт 63, хотя файлы у них почти одного размера.

Разница объясняется архитектурой. В плотной модели на каждый токен работают все параметры. Gemma 4 26B A4B относится к типу MoE («смесь экспертов»): на каждый токен включается лишь часть экспертов, судя по названию, около 4 млрд параметров из 26. Памяти нужно столько же, а считать приходится заметно меньше, отсюда разница примерно в пять раз. Для чата, где человек ждёт ответа, 12,8 токена в секунду похоже на медленную печать, а 63 уже на нормальный диалог.

Длинный контекст: читать минутами

Размер окна на скорость и баллы не повлиял, если запрос один и тот же. Включить 256K «на всякий случай» само по себе не наказывается. Зато чтение длинного входа обходится дорого: 200K токенов модели обрабатывают от 8 до 23 минут. Для агента, который регулярно перечитывает большой репозиторий или набор документов, это прямое ограничение сценария.

На длинном контексте лучше всех отработала Qwen3.8. Это главная причина, по которой автор оставил её себе, несмотря на невысокую скорость генерации.

Что осталось в памяти

Автор держит загруженными две модели сразу. Gemma 4 26B Uncensored отвечает в разговорном боте, где важны быстрые реплики. Qwen3.8 27B с MTP берёт задачи посложнее и фоновую работу, где можно подождать, но нужны качество и устойчивость на больших входах. MTP — режим многотокенного предсказания, он помогает ускорить генерацию.

Что вынести из разбора. Во-первых, выбирайте модель под тип задачи: быстрая MoE для диалога, плотная для тяжёлой фоновой обработки. Во-вторых, закладывайте время на чтение длинного контекста, а не только на генерацию ответа. В-третьих, проверьте, сколько памяти ваша ОС отдаёт GPU.

Ограничения тоже стоит помнить. Это результаты одного человека на одной конфигурации. Методику он докручивал на ходу, часть прогонов перезапускал, а квантование KV-кэша не зафиксировано. Как ориентир для домашнего или небольшого офисного сервера цифры годятся, как строгий бенчмарк — нет. Сам автор пишет, что хочет сэкономить читателям несколько вечеров, а не вынести окончательный вердикт.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что за стенд и зачем он понадобился?

Софт на машине: Ubuntu 26.04, LM Studio 0.4.28 и движок llama.cpp на Vulkan. Все слои модели лежали на GPU, Flash Attention был включён, запросы шли по одному. Почти все модели взяты в сжатом виде Q4 (веса хранятся в четырёх битах, чтобы занимать меньше памяти), исключение — gpt-oss-20b в формате MXFP4. Контекст, то есть объём текста, который модель держит перед глазами, проверяли на 64K, 128K и 256K токенов. Три модели умеют только до 128K.

Что известно по теме: скорость: размер файла ничего не обещает?

В отборочном круге участвовали 12 моделей. В финал вышли четыре лидера и два новых претендента, которых докачали уже после отбора, так что всего через тесты прошло 14. Самый наглядный результат касается устройства моделей. Плотная Qwen3.8 27B выдаёт 12,8 токена в секунду. Модель Gemma 4 26B A4B на том же железе даёт 63, хотя файлы у них почти одного размера. Разница объясняется архитектурой. В плотной модели на каждый токен работают все параметры.

Что известно по теме: длинный контекст: читать минутами?

Размер окна на скорость и баллы не повлиял, если запрос один и тот же. Включить 256K «на всякий случай» само по себе не наказывается. Зато чтение длинного входа обходится дорого: 200K токенов модели обрабатывают от 8 до 23 минут. Для агента, который регулярно перечитывает большой репозиторий или набор документов, это прямое ограничение сценария. На длинном контексте лучше всех отработала Qwen3.8. Это главная причина, по которой автор оставил её себе, несмотря на невысокую скорость генерации.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…