DGX Spark: лимит GPU 1800 МГц снизил питание двух нод с 330 до 242–252 Вт

DGX Spark — компактный ИИ-компьютер NVIDIA на чипе GB10 со 128 ГБ общей памяти, который многие покупают, чтобы дома или в небольшой команде запускать большие языковые модели. Проблема в том, что «из коробки» он потребляет больше, чем нужно, греется и у некоторых владельцев внезапно отключается по ночам. Автор разбора на Habr полгода экспериментировал и выяснил: скорость генерации текста упирается в пропускную способность памяти, а не в частоту GPU.

Поэтому, если ограничить GPU значением 1800 МГц, две связанные коробки вместо 330 Вт берут 242–252 Вт, а число токенов в секунду не меняется. Образно говоря, это поездка по трассе на 110 км/ч вместо 140: бензина уходит меньше, а в пункт назначения вы приезжаете в то же время. Ниже — весь рецепт, который, по словам автора, подходит для любого движка инференса и любого числа нод.

Убрать лишнее и не сломать систему

Автор отдаёт должное китайским моделям — DeepSeek, Qwen, GLM и Kimi: именно благодаря им эта небольшая коробка стала по-настоящему полезной. Первый шаг настройки — перевести Спарк в headless-режим командой sudo systemctl set-default multi-user.target, чтобы графическая оболочка не стартовала. Затем отключаются ненужные сервисы: bluetooth, cups, cups-browsed, avahi-daemon, ModemManager, apport, dgx-dashboard, dgx-dashboard-admin, multipathd, rsyslog. Службы snapd, packagekit, nvidia-dgx-telemetry, nvidia-dgx-sol и udisks2 приходится маскировать (mask): udisks2 просыпается через D-Bus, и обычный disable его не удерживает. PipeWire глушится через systemctl --user mask на сами сервисы и их сокеты.

Есть две ловушки. Во-первых, OTA-обновления прошивки молча возвращают часть отключённых сервисов, так что список стоит перепроверять после каждого апдейта. Во-вторых, нельзя удалять рабочий стол через apt purge --auto-remove: пакет nvidia-system-station-core жёстко связан с ubuntu-desktop. В пробном прогоне (dry-run) система предложила снести 1078 пакетов, включая конфиги fstab, серийную консоль и GRUB. При multi-user.target десктоп всё равно не загружается, поэтому его лучше оставить в покое, а ненужные программы вроде офиса и пасьянсов удалять точечно и без флага автоудаления.

Частоты GPU и CPU: мегагерцы, которые только греют комнату

Декод упирается в память, поэтому всё выше 1800 МГц на GPU только нагревает воздух. Опускаться сильно ниже тоже не стоит: просядет префилл — обработка входного промпта. Значение 1800 МГц автор считает оптимумом: две ноды потребляют 242–252 Вт вместо 330 Вт без потери токенов в секунду.

С процессором похожая история. Движки инференса держат 2–3 потока на быстрых P-ядрах Cortex-X925 в цикле активного ожидания (spin-wait): вместо сна ядро постоянно опрашивает GPU. Ограничение P-ядер на 3000 МГц сохраняет пропускную способность, снижает потребление на 8–12%, а самая горячая зона остывает на 17–18 °C. Ниже 2808 МГц — максимума E-ядер A725 — опускаться нельзя: планировщик начнёт перекидывать нагруженные потоки на медленные ядра, и производительность упадёт.

Оба лимита оформлены как systemd-юниты типа oneshot. GPU-юнит вызывает nvidia-smi -pm 1 и nvidia-smi -lgc 0,1800 (значение берётся из /etc/default/gpu-clock-cap), а при остановке снимает ограничение через -rgc. CPU-юнит через cpupower ставит максимум 3000 МГц на ядра 5-9 и 15-19, а при остановке возвращает 3900 МГц.

Память: 1,5 ГиБ в подарок и подвох с 64K-страницами

Начиная с прошивки OTA 2610+ память под дисплей в UEFI настраивается прямо из операционной системы. Вместо 2 ГБ по умолчанию можно поставить режим Auto — это 512 МиБ в headless-режиме, а освободившиеся 1,5 ГиБ достаются системе.

Ядро с 64K-страницами должно экономить память: накладные расходы Linux на её структуры падают с ~2 ГБ до ~128 МБ. Но драйвер NVIDIA UVM под каждую крошечную 256-байтную таблицу страниц видеочипа занимает целую страницу в 64 КБ, и выходит потеря около 3,25 ГБ. Патч memory-saver упаковывает такие таблицы и даёт +1,8 ГиБ относительно обычного ядра с 4K-страницами. Подвох: он несовместим с Secure Boot. Поэтому переходить на готовое ядро вида nvidia-64k автор пока не советует.

Простой и узкая шина памяти

Один Спарк с загруженной моделью и поднятым сетевым линком ConnectX-7 в простое берёт около 50 Вт, и примерно 20 Вт из них потребляет сама сетевая карта. В прошивке выключен ASPM, энергосбережения для 200G нет, Wake-on-LAN не реализован. Для сравнения, Mac Studio в спящем режиме расходует около 10 Вт. Единственное рабочее решение — выключать Спарк через poweroff и включать через умную розетку.

Главным ограничением платформы автор называет шину памяти: у GB10 она 256-битная, пропускная способность 273 ГБ/с. У Mac Studio M3 Ultra это 819 ГБ/с, у RTX 5090 около 1,8 ТБ/с, у Strix Halo 256 ГБ/с. Из-за этого декод MoE-модели с 10B активных весов в FP4 держится около 50 токенов/с, а владельцы объединяют несколько коробок по сети ConnectX-7 (TP2 или TP3), чтобы сложить пропускную способность. Версия о том, что шину урезали намеренно, чтобы Спарк не отбирал продажи у DGX Station и RTX Pro, — мнение автора, а не подтверждённый факт. Цифры по энергопотреблению получены на его конфигурации и на другой могут отличаться.

Практический вывод: если Спарк стоит дома или в небольшом офисе, headless-режим, лимиты частот GPU и CPU и удалённое питание дают заметную экономию ватт без потери скорости.