Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
РелизРазбор · На радарCNews ИИ→ оригинал

Nodul запустила DeepSeek V4.1 Flash на 2 H200 вместо 8 и ускорила генерацию до 36,4 токена/с

Штатная конфигурация vLLM для DeepSeek V4.1 Flash требует восемь видеокарт, а Nodul запустила модель на двух H200. Редко используемых «экспертов» (подсети модели) вынесли в оперативную память, частых оставили в видеопамяти. При 20 одновременных сессиях скорость выросла с 5,4 до 36,4 токена в секунду на агента. Это полезно командам, которым безопасность запрещает отправлять код во внешние облака.

AI-обработка оригинала CNews ИИ; редакция Hamidun News
Nodul запустила DeepSeek V4.1 Flash на 2 H200 вместо 8 и ускорила генерацию до 36,4 токена/с
Источник: CNews ИИ. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникCNews ИИ ↗
Главный редактор
Ключевой факт #1Аренда двух H200 — 400–500 тыс. руб. в месяц, восьми GPU — около 4 млн
Ключевой факт #2При 30 сессиях медианная скорость падает до 20,1 токена в секунду
Раскладку экспертов нельзя скачатьеё собирают под свою нагрузку

Российская компания Nodul запустила модель DeepSeek V4.1 Flash для кодинг-агентов на двух видеокартах Nvidia H200, хотя штатная конфигурация движка vLLM (программы, которая запускает модель на видеокартах) рассчитана на восемь. Скорость генерации на том же сервере выросла с 5,4 до 36,4 токена в секунду на одного агента при 20 одновременных сессиях. Токен — это примерно слово или кусок слова, так что речь о том, насколько быстро ИИ-помощник печатает ответ или код. Для команд, которым служба безопасности запрещает отправлять исходники и документы во внешние облака, это шанс держать собственный сервер втрое-вчетверо дешевле.

Почему две карты не вмещали модель

По словам Nodul, в англо- и китайскоязычных материалах не нашлось готовой конфигурации, которая позволяла бы обслуживать 20 параллельных сессий на двух H200 со скоростью от 20 токенов в секунду на агента. Арифметика простая. После запуска драйвера и движка на каждой H200 оставалось около 139 ГБ видеопамяти, а одним весам модели требовалось около 147 ГБ. Но память нужна ещё и под контекст: у каждой сессии агента свой набор прочитанных файлов и история.

Выход подсказала архитектура модели. DeepSeek состоит из множества подсетей, «экспертов», и к разным из них обращается с разной частотой. Это как рабочий стол и архив: папки, с которыми работаешь каждый день, лежат под рукой, остальные убраны в шкаф. Nodul так и поступила: веса востребованных экспертов оставили в видеопамяти, а редко используемые перенесли в оперативную память сервера. Подход команда назвала Lossless Expert Tiering, то есть многоуровневое размещение экспертов без потери качества.

Как скорость выросла почти в семь раз

Самая полезная часть истории — порядок шагов.

Первую раскладку для доработанного vLLM составили по публичной статистике: на GPU разместили экспертов, которых модель чаще всего задействовала на разных задачах. При 20 параллельных сессиях скорость поднялась до 17,3 токена в секунду на агента.

Затем команда собрала статистику на нагрузке, близкой к рабочим сессиям кодинг-агентов. Оказалось, что при работе с кодом модель чаще использует другой набор экспертов. После переноса их весов на GPU одна только смена раскладки добавила 62%: скорость дошла до 28,1 токена в секунду.

Наконец, при 20 сессиях резерв видеопамяти под контекст был занят меньше чем наполовину, и часть свободного места отдали экспертам. Кроме того, движок научили менять размещение экспертов по частоте вызовов без перезапуска. Вместе эти изменения дали ещё около 30% и довели медианную скорость до 36,4 токена в секунду на агента. Исходная точка на том же сервере — 5,4.

Деньги и ограничения

Для проверки Nodul воспроизвела 1018 запросов из рабочих сессий. При 20 параллельных сессиях в девяти случаях из десяти генерация начиналась в течение 2,5 секунды. При 30 сессиях медианная скорость составила 20,1 токена в секунду на агента, то есть порог в 20 токенов почти на пределе. Все замеры на двух H200 провели на одном сервере.

Генеральный директор и основатель Nodul оценивает аренду сервера на восемь GPU примерно в 4 млн руб. в месяц. Для двух H200 ориентир — 400–500 тыс. руб. в месяц при почасовой аренде, если выключать сервер на ночь. Для команды примерно из 25–27 человек это около 15–20 тыс. руб. на разработчика. По его словам, такой вариант подходит небольшим и средним командам, которым запрещено отправлять код и документы во внешние сервисы.

Оговорки важны. Цифры предоставила сама компания, независимых замеров в материале нет. Раскладку нельзя скачать: на разных задачах модель обращается к разным экспертам, и раскладка, собранная на одной нагрузке, на другой работает хуже. Если ваши агенты занимаются не только кодом, но и документами или аналитикой, статистику придётся собирать заново.

Что делать на практике

Для тех, кто строит внутренний контур с кодинг-агентами, вывод такой: прежде чем арендовать «положенные» восемь карт, измерьте, как именно ваша нагрузка использует модель. Для моделей с экспертами частоту обращений можно посчитать и использовать: редкое переложить в оперативную память, а видеопамять освободить под то, что нужно прямо сейчас. Подход требует доработки движка и замеров, но для команды, которой нельзя пользоваться внешним API, экономия в разы оправдывает усилия.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему две карты не вмещали модель?

По словам Nodul, в англо- и китайскоязычных материалах не нашлось готовой конфигурации, которая позволяла бы обслуживать 20 параллельных сессий на двух H200 со скоростью от 20 токенов в секунду на агента. Арифметика простая. После запуска драйвера и движка на каждой H200 оставалось около 139 ГБ видеопамяти, а одним весам модели требовалось около 147 ГБ. Но память нужна ещё и под контекст: у каждой сессии агента свой набор прочитанных файлов и история. Выход подсказала архитектура модели.

Что известно по теме: как скорость выросла почти в семь раз?

Самая полезная часть истории — порядок шагов. Первую раскладку для доработанного vLLM составили по публичной статистике: на GPU разместили экспертов, которых модель чаще всего задействовала на разных задачах. При 20 параллельных сессиях скорость поднялась до 17,3 токена в секунду на агента. Затем команда собрала статистику на нагрузке, близкой к рабочим сессиям кодинг-агентов. Оказалось, что при работе с кодом модель чаще использует другой набор экспертов.

Что известно по теме: деньги и ограничения?

Для проверки Nodul воспроизвела 1018 запросов из рабочих сессий. При 20 параллельных сессиях в девяти случаях из десяти генерация начиналась в течение 2,5 секунды. При 30 сессиях медианная скорость составила 20,1 токена в секунду на агента, то есть порог в 20 токенов почти на пределе. Все замеры на двух H200 провели на одном сервере. Генеральный директор и основатель Nodul оценивает аренду сервера на восемь GPU примерно в 4 млн руб. в месяц. Для двух H200 ориентир — 400–500 тыс. руб.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…