Четыре видеокарты V100 2017 года тянут модель на 27 млрд параметров: 218 токенов/с
Минский сервис ZuBrIQ запустил в проде нейросеть Qwen3.8-27B (27 млрд параметров) на четырёх видеокартах Tesla V100 2017 года, хотя официальный vLLM 4-битные модели на них не стартует. С форком 1Cat-vLLM модель в сжатом виде весит около 21 ГБ, читает до 262 тысяч токенов контекста (сотни страниц текста) и пишет около 218 токенов в секунду при 24 запросах сразу. Старые карты годятся для продакшна, если считать память вручную.
AI-обработка оригинала Habr AI; редакция Hamidun News
У многих команд нет свежих H100, зато в стойке стоят видеокарты, которые «уже списали». Инженеры белорусского сервиса ZuBrIQ показали, что четыре Nvidia Tesla V100 (серверные карты 2017 года по 16 ГБ памяти каждая) всё ещё тянут плотную модель Qwen3.8-27B. Обозначение «27B» означает 27 миллиардов параметров. Окно контекста у неё 262K, то есть около 262 тысяч токенов: это сотни страниц текста в одном запросе. Скорость генерации — около 218 токенов в секунду суммарно на 24 одновременных запроса (токен — это примерно слово или его часть). Разбор у команды получился практичным: с командами запуска, цифрами и ошибками, на которые легко наступить.
Зачем вообще V100
Модель zubr — единственная в ZuBrIQ, запросы к которой не покидают Беларусь. Промпт, документ и ответ остаются на серверах в Минске. Для банков, госсектора и компаний с персональными данными это условие, без которого они не работают. Новые карты в страну привезти сложно и дорого, поэтому команда выжимает максимум из имеющихся: четыре V100 SXM2 по 16 ГБ, всего 64 ГБ.
Сложность в архитектуре Volta (SM70). В ней нет bfloat16, в котором распространяется большинство современных моделей, нет FP8, а официальный vLLM отказывается запускать 4-битные модели на картах с индексом ниже 75. Выход — форк 1Cat-vLLM под Apache-2.0 с 4-битными ядрами для Volta, бэкендом внимания для V100 и CUDA Graph. Запускают его нативно через systemd в LXC-контейнере на Proxmox, без Docker.
Модель взяли в INT4 (веса хранятся в 4 битах вместо 16): Qwen3.8-27B от cyankiwi весит около 21 ГБ, это примерно 5,3 ГБ на карту. Здесь два нюанса. Квант сохранён в формате compressed-tensors, и для него нужно включить переменную VLLM_SM70_COMPRESSED_TENSORS_TURBOMIND=1. Кроме того, обязателен флаг --dtype float16, потому что bfloat16 на Volta нет.
Куда уходит память
Первая ловушка: в форке вес модели почти не вычитается из бюджета KV-кеша (память, в которой модель хранит уже прочитанный контекст). Из-за этого при настройке 0,50 процесс занимал на карту не 8, а почти 14 ГБ. Команда задала размер кеша явно через --kv-cache-memory-bytes. Расчёт честный: движок сообщил, что окну 131 072 токена нужно 2,08 ГиБ, то есть около 17 КБ на токен. Для 262 144 токенов хватает 4,6 ГБ с небольшим запасом. Считать надо по самой загруженной карте: если на одной GPU живёт ещё и сервис эмбеддингов, кеш ограничен её свободной памятью.
Вторая ловушка: CUDA-графы захватываются под каждый размер батча и лежат вне бюджета. При max-num-seqs 96 они занимали около 5 ГБ сверх плана. После снижения до 24 пропускная способность почти не просела, а память вернулась.
Третья: два инстанса на одних картах. Рядом работала отдельная Qwen3-VL-4B для зрения, и при одновременном рестарте двух процессов пик инициализации превышал 16 ГБ, один воркер ловил OOM, а основной зависал на NCCL watchdog: systemd показывал active, а порт был закрыт. В сентябре проблема исчезла: Qwen3.8-27B читает изображения сама и на тесте с таблицами справилась в 3 случаях из 4, а отдельная 4B — в 0 из 3. Её отключили, освободили около 8 ГБ и подняли окно со 131 072 до 262 144 токенов.
MoE против dense и правило про имя
До сентября в проде стояла MoE-модель Qwen3.6-35B-A3B: 35 млрд параметров, из которых для каждого токена работают около 3 млрд. Обе модели прогнали одним скриптом: 300 запросов, 24 клиента, 512 токенов на входе и 256 на выходе. Плотная 27B (dense — все параметры работают всегда) выдала 218,5 токена в секунду против 200,2 (на 9% больше), а каждый токен печатался на 14% быстрее. Авторы предполагают, что MoE-ядра на SM70 просто мало оптимизированы.
Платить пришлось первым токеном: медиана ожидания 1,31 с против 0,59 с, а у самых медленных 1% запросов (P99) — 14,2 с против 2,3 с. Плотная модель при обработке промпта задействует все 27 млрд параметров, а MoE считала около 3 млрд. Оговорка команды: сравнивалась скорость, а не качество, которое проверяли только смоук-запросами.
Отдельный урок касается названий. Когда при смене весов убрали старое имя qwen3.6-35b, чат-бот поддержки, ходивший в vLLM напрямую, получил 404 и начал отправлять каждого клиента к оператору. Теперь первое имя в --served-model-name (zubr) не меняется никогда, а версионные имена вроде zubr-2 описывают конкретные веса. Истину о весах показывает поле root в /v1/models, потому что в ответе vLLM возвращает запрошенный алиас.
Что взять на заметку
- На старых картах без bfloat16 и FP8 4-битный квант плюс форк vLLM — рабочий путь, но нужны float16 и правильные переменные окружения.
- Задавайте KV-кеш явно и учитывайте память под CUDA-графы.
- Не запускайте два тяжёлых процесса на одних GPU одновременно.
- Публичное имя модели отделяйте от версии весов.
Ограничения тоже понятны: результаты получены на одной конфигурации, качество моделей не сравнивалось, а форк не является официальной веткой vLLM, поэтому поддержку придётся держать на себе.
- 21 нояб. 2026 г.Nvidia удвоила прибыль, но акции упали на 2% из-за поиска нового гендиректора
- 21 нояб. 2026 г.Nous Research доучила китайскую Qwen3.8, и пропаганды в ответах стало 1% вместо 22%
- 21 нояб. 2026 г.Samsung хочет купить Modine — поставщика охлаждения для ЦОДов — почти за $6 млрд
- 21 нояб. 2026 г.Reuters: ИИ-стройки Китая на $3,2 млрд завязаны на чипы Nvidia, а Хуанг ушёл
Вопросы и ответы по материалу
Что известно по теме: зачем вообще V100?
Модель zubr — единственная в ZuBrIQ, запросы к которой не покидают Беларусь. Промпт, документ и ответ остаются на серверах в Минске. Для банков, госсектора и компаний с персональными данными это условие, без которого они не работают. Новые карты в страну привезти сложно и дорого, поэтому команда выжимает максимум из имеющихся: четыре V100 SXM2 по 16 ГБ, всего 64 ГБ. Сложность в архитектуре Volta (SM70).
Что известно по теме: куда уходит память?
Первая ловушка: в форке вес модели почти не вычитается из бюджета KV-кеша (память, в которой модель хранит уже прочитанный контекст). Из-за этого при настройке 0,50 процесс занимал на карту не 8, а почти 14 ГБ. Команда задала размер кеша явно через --kv-cache-memory-bytes. Расчёт честный: движок сообщил, что окну 131 072 токена нужно 2,08 ГиБ, то есть около 17 КБ на токен. Для 262 144 токенов хватает 4,6 ГБ с небольшим запасом.
Что известно по теме: MoE против dense и правило про имя?
До сентября в проде стояла MoE-модель Qwen3.6-35B-A3B: 35 млрд параметров, из которых для каждого токена работают около 3 млрд. Обе модели прогнали одним скриптом: 300 запросов, 24 клиента, 512 токенов на входе и 256 на выходе. Плотная 27B (dense — все параметры работают всегда) выдала 218,5 токена в секунду против 200,2 (на 9% больше), а каждый токен печатался на 14% быстрее. Авторы предполагают, что MoE-ядра на SM70 просто мало оптимизированы.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.