Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

Qwen на двух DGX Spark стал быстрее на 34–59% по токенам в секунду и обошёл GLM

Разработчик лишился Claude Code и тестирует локальные модели на двух мини-компьютерах DGX Spark. Qwen 3.8 Flash Next выдаёт 97–117 токенов в секунду — на 34–59% быстрее, чем на одном Spark, а первый токен на контексте 128K ждать 39 секунд вместо 57. GLM 5.3 Flash пишет приятнее, но зацикливается. Для кодинга автор выбрал Qwen.

AI-обработка оригинала Habr AI; редакция Hamidun News
Qwen на двух DGX Spark стал быстрее на 34–59% по токенам в секунду и обошёл GLM
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Prefill (разбор промпта) вырос на 47–62%до 3,1–3,8 тыс. токенов в секунду
Ключевой факт #2На контексте 256K первый токен у Qwen через 86 с, у GLM — через 154 с
GLM90% вывода Bash — комментарии, а в цикле он создал 119 файлов

Что делать, если облачный помощник для программирования пропал, а работать нужно? Автор серии заметок на Habr потерял аккаунт Claude Code и вторую неделю проверяет, можно ли заменить его локальными моделями с открытыми весами. Для этого он поставил две модели, GLM 5.

3 Flash и Qwen 3.8 Flash Next, на два мини-компьютера NVIDIA DGX Spark, соединённых в кластер. Скорость он измерял тремя числами.

TPS — сколько токенов (кусочков текста) модель выдаёт за секунду. Prefill — как быстро она «прочитывает» присланный промпт, например весь репозиторий. TTFT — сколько секунд проходит до появления первого токена ответа.

Допустим, вы просите агента найти баг в большом проекте: чем выше prefill и ниже TTFT, тем меньше вы ждёте до начала работы. Если вы выбираете модель для локального агента, смотрите не только на токены в секунду, но и на эти показатели, а ещё на то, как модель ведёт себя в долгих сессиях. Итог эксперимента: Qwen стал основным инструментом, GLM остался на подхвате.

Как мерили и что получилось

Обе модели работали на одном железе: два DGX Spark, движок TensorFold, контекст до 1 млн токенов. Квантизация, то есть степень сжатия весов, разная: у GLM — 4 бита на вес (формат EXL3), у Qwen — INT4-AR. На каждом размере контекста, от 2K до 256K токенов, автор сделал по 10 замеров. Промпты были уникальными, со случайной добавкой, поэтому кэш префикса не помогал: это честный «холодный» разбор текста с нуля. Перед каждой серией шёл один прогревочный запрос.

Qwen 3.8 Flash Next на двух Spark выдаёт 97–117 токенов в секунду, а prefill у него 3,1–3,8 тыс. токенов в секунду. На контексте 128K первого токена ждать 39 секунд, на 256K — 86 секунд. GLM на тех же двух Spark генерирует 65–72 токена в секунду, его prefill — 1,5–1,8 тыс. токенов в секунду, а на 256K первый токен приходится ждать 154 секунды. В пересчёте на один Spark у GLM получается 33–36 токенов в секунду — худший результат среди четырёх конфигураций автора.

Сравнение с одним Spark из прошлой статьи: генерация быстрее на 34–59%, prefill — на 47–62%, а TTFT на 128K сократился с 57 до 39 секунд (−32%). Удвоения скорости нет: вторая машина даёт примерно полтора раза, а не два. Prefill масштабируется лучше генерации, поэтому кластер особенно полезен, когда агент часто перечитывает большие кодовые базы. DeepSeek на двух Spark из прошлой статьи выдавал 99–109 токенов в секунду, то есть Qwen на его уровне или чуть выше, а по prefill и TTFT заметно впереди.

Есть оговорка. Одиночный Spark работал на 4-битной квантизации NVFP4, а кластер — на INT4-AR, так что сравнение не вполне точное и показывает лишь порядок величин. Замера 256K для одного Spark нет.

Что не так с GLM 5.3 Flash

Парадокс в том, что читать ответы GLM приятнее. Qwen и DeepSeek, по словам автора, иногда путают окончания слов и придумывают новые, вроде «echoшить», или вставляют иероглифы. GLM пишет ровно, аккуратно двигает пункты TODO-списка на уровнях high и max и точно следует навыкам и шаблонам.

Для агентной работы у него нашлись неприятные привычки:

  • 90% вывода Bash — это собственные комментарии модели. Контекст быстро разрастается, а блоки «Thinking», которые были в начале сессии, пропадают: рассуждения переезжают внутрь команд.
  • Зацикливание. В первой же задаче агент создал 119 файлов вида /tmp/probe119.php. Автор заметил это только потому, что его плагин показывает вызовы инструментов. Без присмотра к утру мог закончиться диск.
  • Путаница в собственных действиях, когда контекст превышает 130–150 тысяч токенов. Модель «расследует», кто переключил ветку, а потом выясняет, что это сделал её же скрипт calibrate.sh.

После этого автор добавил в AGENTS.md правило: если три разные попытки дают один и тот же результат, нужно остановиться и пересмотреть гипотезу, не запуская четвёртую. Практический вывод: автономному агенту нужен лимит на повторяющиеся действия, иначе утекут и токены, и место на диске.

Инструменты вокруг модели

Автор работает через минималистичную обвязку Pi в WSL и написал для неё плагин для PhpStorm и других IDE JetBrains. За неделю он добавил три вещи. Первая — уведомления в Telegram, когда агент завершил ход, просит разрешение или задал вопрос. Вторая — remote-сессии: управлять агентом можно из браузера на телефоне. Третья — инструмент ask_question, аналог AskUserQuestion из Claude Code, с возможностью добавить заметку к варианту ответа или попросить объяснить вопрос. Новые функции писали DeepSeek и Qwen: с первого раза удавалось редко, но со второй-третьей попытки всё работало.

Практический эффект: агент спокойно гоняет бенчмарк ночью, а на его вопрос в пять утра можно ответить с телефона. Без лимитов подписки локальный агент работает круглосуточно, и автор признаётся, что его зависимость от агентов только выросла.

Важно помнить, что это опыт одного разработчика на pet-проектах, а не независимый бенчмарк. С Qwen он поработал мало, а цифр по качеству кода нет. Следующим шагом автор обещает эксперимент с уровнем reasoning effort для кодинга.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как мерили и что получилось?

Обе модели работали на одном железе: два DGX Spark, движок TensorFold, контекст до 1 млн токенов. Квантизация, то есть степень сжатия весов, разная: у GLM — 4 бита на вес (формат EXL3), у Qwen — INT4-AR. На каждом размере контекста, от 2K до 256K токенов, автор сделал по 10 замеров. Промпты были уникальными, со случайной добавкой, поэтому кэш префикса не помогал: это честный «холодный» разбор текста с нуля. Перед каждой серией шёл один прогревочный запрос.

Что известно по теме: что не так с GLM 5.3 Flash?

Парадокс в том, что читать ответы GLM приятнее. Qwen и DeepSeek, по словам автора, иногда путают окончания слов и придумывают новые, вроде «echoшить», или вставляют иероглифы. GLM пишет ровно, аккуратно двигает пункты TODO-списка на уровнях high и max и точно следует навыкам и шаблонам. Для агентной работы у него нашлись неприятные привычки: 90% вывода Bash — это собственные комментарии модели.

Что известно по теме: инструменты вокруг модели?

Автор работает через минималистичную обвязку Pi в WSL и написал для неё плагин для PhpStorm и других IDE JetBrains. За неделю он добавил три вещи. Первая — уведомления в Telegram, когда агент завершил ход, просит разрешение или задал вопрос. Вторая — remote-сессии: управлять агентом можно из браузера на телефоне. Третья — инструмент ask_question, аналог AskUserQuestion из Claude Code, с возможностью добавить заметку к варианту ответа или попросить объяснить вопрос.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…