Qwen на двух DGX Spark стал быстрее на 34–59% по токенам в секунду и обошёл GLM
Разработчик лишился Claude Code и тестирует локальные модели на двух мини-компьютерах DGX Spark. Qwen 3.8 Flash Next выдаёт 97–117 токенов в секунду — на 34–59% быстрее, чем на одном Spark, а первый токен на контексте 128K ждать 39 секунд вместо 57. GLM 5.3 Flash пишет приятнее, но зацикливается. Для кодинга автор выбрал Qwen.
AI-обработка оригинала Habr AI; редакция Hamidun News
Что делать, если облачный помощник для программирования пропал, а работать нужно? Автор серии заметок на Habr потерял аккаунт Claude Code и вторую неделю проверяет, можно ли заменить его локальными моделями с открытыми весами. Для этого он поставил две модели, GLM 5.
3 Flash и Qwen 3.8 Flash Next, на два мини-компьютера NVIDIA DGX Spark, соединённых в кластер. Скорость он измерял тремя числами.
TPS — сколько токенов (кусочков текста) модель выдаёт за секунду. Prefill — как быстро она «прочитывает» присланный промпт, например весь репозиторий. TTFT — сколько секунд проходит до появления первого токена ответа.
Допустим, вы просите агента найти баг в большом проекте: чем выше prefill и ниже TTFT, тем меньше вы ждёте до начала работы. Если вы выбираете модель для локального агента, смотрите не только на токены в секунду, но и на эти показатели, а ещё на то, как модель ведёт себя в долгих сессиях. Итог эксперимента: Qwen стал основным инструментом, GLM остался на подхвате.
Как мерили и что получилось
Обе модели работали на одном железе: два DGX Spark, движок TensorFold, контекст до 1 млн токенов. Квантизация, то есть степень сжатия весов, разная: у GLM — 4 бита на вес (формат EXL3), у Qwen — INT4-AR. На каждом размере контекста, от 2K до 256K токенов, автор сделал по 10 замеров. Промпты были уникальными, со случайной добавкой, поэтому кэш префикса не помогал: это честный «холодный» разбор текста с нуля. Перед каждой серией шёл один прогревочный запрос.
Qwen 3.8 Flash Next на двух Spark выдаёт 97–117 токенов в секунду, а prefill у него 3,1–3,8 тыс. токенов в секунду. На контексте 128K первого токена ждать 39 секунд, на 256K — 86 секунд. GLM на тех же двух Spark генерирует 65–72 токена в секунду, его prefill — 1,5–1,8 тыс. токенов в секунду, а на 256K первый токен приходится ждать 154 секунды. В пересчёте на один Spark у GLM получается 33–36 токенов в секунду — худший результат среди четырёх конфигураций автора.
Сравнение с одним Spark из прошлой статьи: генерация быстрее на 34–59%, prefill — на 47–62%, а TTFT на 128K сократился с 57 до 39 секунд (−32%). Удвоения скорости нет: вторая машина даёт примерно полтора раза, а не два. Prefill масштабируется лучше генерации, поэтому кластер особенно полезен, когда агент часто перечитывает большие кодовые базы. DeepSeek на двух Spark из прошлой статьи выдавал 99–109 токенов в секунду, то есть Qwen на его уровне или чуть выше, а по prefill и TTFT заметно впереди.
Есть оговорка. Одиночный Spark работал на 4-битной квантизации NVFP4, а кластер — на INT4-AR, так что сравнение не вполне точное и показывает лишь порядок величин. Замера 256K для одного Spark нет.
Что не так с GLM 5.3 Flash
Парадокс в том, что читать ответы GLM приятнее. Qwen и DeepSeek, по словам автора, иногда путают окончания слов и придумывают новые, вроде «echoшить», или вставляют иероглифы. GLM пишет ровно, аккуратно двигает пункты TODO-списка на уровнях high и max и точно следует навыкам и шаблонам.
Для агентной работы у него нашлись неприятные привычки:
- 90% вывода Bash — это собственные комментарии модели. Контекст быстро разрастается, а блоки «Thinking», которые были в начале сессии, пропадают: рассуждения переезжают внутрь команд.
- Зацикливание. В первой же задаче агент создал 119 файлов вида /tmp/probe119.php. Автор заметил это только потому, что его плагин показывает вызовы инструментов. Без присмотра к утру мог закончиться диск.
- Путаница в собственных действиях, когда контекст превышает 130–150 тысяч токенов. Модель «расследует», кто переключил ветку, а потом выясняет, что это сделал её же скрипт calibrate.sh.
После этого автор добавил в AGENTS.md правило: если три разные попытки дают один и тот же результат, нужно остановиться и пересмотреть гипотезу, не запуская четвёртую. Практический вывод: автономному агенту нужен лимит на повторяющиеся действия, иначе утекут и токены, и место на диске.
Инструменты вокруг модели
Автор работает через минималистичную обвязку Pi в WSL и написал для неё плагин для PhpStorm и других IDE JetBrains. За неделю он добавил три вещи. Первая — уведомления в Telegram, когда агент завершил ход, просит разрешение или задал вопрос. Вторая — remote-сессии: управлять агентом можно из браузера на телефоне. Третья — инструмент ask_question, аналог AskUserQuestion из Claude Code, с возможностью добавить заметку к варианту ответа или попросить объяснить вопрос. Новые функции писали DeepSeek и Qwen: с первого раза удавалось редко, но со второй-третьей попытки всё работало.
Практический эффект: агент спокойно гоняет бенчмарк ночью, а на его вопрос в пять утра можно ответить с телефона. Без лимитов подписки локальный агент работает круглосуточно, и автор признаётся, что его зависимость от агентов только выросла.
Важно помнить, что это опыт одного разработчика на pet-проектах, а не независимый бенчмарк. С Qwen он поработал мало, а цифр по качеству кода нет. Следующим шагом автор обещает эксперимент с уровнем reasoning effort для кодинга.
- 18 нояб. 2026 г.LLM на VPS без видеокарты: 4B-модели сортируют обращения с точностью 90% за 3–5 с
- 18 нояб. 2026 г.Сжатая Bonsai 2 27B на карте 2017 года выдала 17 токенов/с, а Qwen3 8B — 32
- 18 нояб. 2026 г.Языковую модель на ESP32-S3 разогнали до 406 токенов/с — в 18 раз быстрее
- 18 нояб. 2026 г.После сбоя агенты откатывают работу лишь в 47% случаев, хотя решают 84% задач
Вопросы и ответы по материалу
Что известно по теме: как мерили и что получилось?
Обе модели работали на одном железе: два DGX Spark, движок TensorFold, контекст до 1 млн токенов. Квантизация, то есть степень сжатия весов, разная: у GLM — 4 бита на вес (формат EXL3), у Qwen — INT4-AR. На каждом размере контекста, от 2K до 256K токенов, автор сделал по 10 замеров. Промпты были уникальными, со случайной добавкой, поэтому кэш префикса не помогал: это честный «холодный» разбор текста с нуля. Перед каждой серией шёл один прогревочный запрос.
Что известно по теме: что не так с GLM 5.3 Flash?
Парадокс в том, что читать ответы GLM приятнее. Qwen и DeepSeek, по словам автора, иногда путают окончания слов и придумывают новые, вроде «echoшить», или вставляют иероглифы. GLM пишет ровно, аккуратно двигает пункты TODO-списка на уровнях high и max и точно следует навыкам и шаблонам. Для агентной работы у него нашлись неприятные привычки: 90% вывода Bash — это собственные комментарии модели.
Что известно по теме: инструменты вокруг модели?
Автор работает через минималистичную обвязку Pi в WSL и написал для неё плагин для PhpStorm и других IDE JetBrains. За неделю он добавил три вещи. Первая — уведомления в Telegram, когда агент завершил ход, просит разрешение или задал вопрос. Вторая — remote-сессии: управлять агентом можно из браузера на телефоне. Третья — инструмент ask_question, аналог AskUserQuestion из Claude Code, с возможностью добавить заметку к варианту ответа или попросить объяснить вопрос.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.