Nodul запустила DeepSeek V4.1 Flash на 2 H200 вместо 8 и ускорила генерацию до 36,4 токена/с
Штатная конфигурация vLLM для DeepSeek V4.1 Flash требует восемь видеокарт, а Nodul запустила модель на двух H200. Редко используемых «экспертов» (подсети модели) вынесли в оперативную память, частых оставили в видеопамяти. При 20 одновременных сессиях скорость выросла с 5,4 до 36,4 токена в секунду на агента. Это полезно командам, которым безопасность запрещает отправлять код во внешние облака.
AI-обработка оригинала CNews ИИ; редакция Hamidun News
Российская компания Nodul запустила модель DeepSeek V4.1 Flash для кодинг-агентов на двух видеокартах Nvidia H200, хотя штатная конфигурация движка vLLM (программы, которая запускает модель на видеокартах) рассчитана на восемь. Скорость генерации на том же сервере выросла с 5,4 до 36,4 токена в секунду на одного агента при 20 одновременных сессиях. Токен — это примерно слово или кусок слова, так что речь о том, насколько быстро ИИ-помощник печатает ответ или код. Для команд, которым служба безопасности запрещает отправлять исходники и документы во внешние облака, это шанс держать собственный сервер втрое-вчетверо дешевле.
Почему две карты не вмещали модель
По словам Nodul, в англо- и китайскоязычных материалах не нашлось готовой конфигурации, которая позволяла бы обслуживать 20 параллельных сессий на двух H200 со скоростью от 20 токенов в секунду на агента. Арифметика простая. После запуска драйвера и движка на каждой H200 оставалось около 139 ГБ видеопамяти, а одним весам модели требовалось около 147 ГБ. Но память нужна ещё и под контекст: у каждой сессии агента свой набор прочитанных файлов и история.
Выход подсказала архитектура модели. DeepSeek состоит из множества подсетей, «экспертов», и к разным из них обращается с разной частотой. Это как рабочий стол и архив: папки, с которыми работаешь каждый день, лежат под рукой, остальные убраны в шкаф. Nodul так и поступила: веса востребованных экспертов оставили в видеопамяти, а редко используемые перенесли в оперативную память сервера. Подход команда назвала Lossless Expert Tiering, то есть многоуровневое размещение экспертов без потери качества.
Как скорость выросла почти в семь раз
Самая полезная часть истории — порядок шагов.
Первую раскладку для доработанного vLLM составили по публичной статистике: на GPU разместили экспертов, которых модель чаще всего задействовала на разных задачах. При 20 параллельных сессиях скорость поднялась до 17,3 токена в секунду на агента.
Затем команда собрала статистику на нагрузке, близкой к рабочим сессиям кодинг-агентов. Оказалось, что при работе с кодом модель чаще использует другой набор экспертов. После переноса их весов на GPU одна только смена раскладки добавила 62%: скорость дошла до 28,1 токена в секунду.
Наконец, при 20 сессиях резерв видеопамяти под контекст был занят меньше чем наполовину, и часть свободного места отдали экспертам. Кроме того, движок научили менять размещение экспертов по частоте вызовов без перезапуска. Вместе эти изменения дали ещё около 30% и довели медианную скорость до 36,4 токена в секунду на агента. Исходная точка на том же сервере — 5,4.
Деньги и ограничения
Для проверки Nodul воспроизвела 1018 запросов из рабочих сессий. При 20 параллельных сессиях в девяти случаях из десяти генерация начиналась в течение 2,5 секунды. При 30 сессиях медианная скорость составила 20,1 токена в секунду на агента, то есть порог в 20 токенов почти на пределе. Все замеры на двух H200 провели на одном сервере.
Генеральный директор и основатель Nodul оценивает аренду сервера на восемь GPU примерно в 4 млн руб. в месяц. Для двух H200 ориентир — 400–500 тыс. руб. в месяц при почасовой аренде, если выключать сервер на ночь. Для команды примерно из 25–27 человек это около 15–20 тыс. руб. на разработчика. По его словам, такой вариант подходит небольшим и средним командам, которым запрещено отправлять код и документы во внешние сервисы.
Оговорки важны. Цифры предоставила сама компания, независимых замеров в материале нет. Раскладку нельзя скачать: на разных задачах модель обращается к разным экспертам, и раскладка, собранная на одной нагрузке, на другой работает хуже. Если ваши агенты занимаются не только кодом, но и документами или аналитикой, статистику придётся собирать заново.
Что делать на практике
Для тех, кто строит внутренний контур с кодинг-агентами, вывод такой: прежде чем арендовать «положенные» восемь карт, измерьте, как именно ваша нагрузка использует модель. Для моделей с экспертами частоту обращений можно посчитать и использовать: редкое переложить в оперативную память, а видеопамять освободить под то, что нужно прямо сейчас. Подход требует доработки движка и замеров, но для команды, которой нельзя пользоваться внешним API, экономия в разы оправдывает усилия.
- 19 нояб. 2026 г.Нейросети внесли школу в список военных целей в 70% тестов Vals AI
- 19 нояб. 2026 г.Слово «видеоигра» подняло готовность GPT-6 Astra выбирать цели с 6% до 92%
- 18 нояб. 2026 г.Sciforium разогнала DeepSeek-V4.1-Flash на AMD до 1 129 токенов в секунду
- 18 нояб. 2026 г.Одна китайская запятая переключила DeepSeek на китайский в 94% ответов
Вопросы и ответы по материалу
Что известно по теме: почему две карты не вмещали модель?
По словам Nodul, в англо- и китайскоязычных материалах не нашлось готовой конфигурации, которая позволяла бы обслуживать 20 параллельных сессий на двух H200 со скоростью от 20 токенов в секунду на агента. Арифметика простая. После запуска драйвера и движка на каждой H200 оставалось около 139 ГБ видеопамяти, а одним весам модели требовалось около 147 ГБ. Но память нужна ещё и под контекст: у каждой сессии агента свой набор прочитанных файлов и история. Выход подсказала архитектура модели.
Что известно по теме: как скорость выросла почти в семь раз?
Самая полезная часть истории — порядок шагов. Первую раскладку для доработанного vLLM составили по публичной статистике: на GPU разместили экспертов, которых модель чаще всего задействовала на разных задачах. При 20 параллельных сессиях скорость поднялась до 17,3 токена в секунду на агента. Затем команда собрала статистику на нагрузке, близкой к рабочим сессиям кодинг-агентов. Оказалось, что при работе с кодом модель чаще использует другой набор экспертов.
Что известно по теме: деньги и ограничения?
Для проверки Nodul воспроизвела 1018 запросов из рабочих сессий. При 20 параллельных сессиях в девяти случаях из десяти генерация начиналась в течение 2,5 секунды. При 30 сессиях медианная скорость составила 20,1 токена в секунду на агента, то есть порог в 20 токенов почти на пределе. Все замеры на двух H200 провели на одном сервере. Генеральный директор и основатель Nodul оценивает аренду сервера на восемь GPU примерно в 4 млн руб. в месяц. Для двух H200 ориентир — 400–500 тыс. руб.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.