Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
РелизКод / SDK · В работуHabr AI→ оригинал

Nvidia собрала из четырёх DGX Spark мини-кластер на 512 ГБ для моделей до 700 млрд параметров

Большие модели на своём столе упираются не в скорость, а в память: веса просто не влезают. Nvidia на SC26 показала DGX Spark HPC Developer Kit — четыре мини-компьютера по 128 ГБ, вместе 512 ГБ памяти. Компания заявляет, что этого хватает для локального запуска моделей до 700 млрд параметров без облака. Цену не называют, но четыре DGX Spark по отдельности стоят почти 28 тыс. долларов.

AI-обработка оригинала Habr AI; редакция Hamidun News
Nvidia собрала из четырёх DGX Spark мини-кластер на 512 ГБ для моделей до 700 млрд параметров
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Узел20 ядер Arm, GPU Blackwell, до 1 петафлопса в FP4
Ключевой факт #2Узлы связаны в кольцо через ConnectX-7, коммутатор не нужен
Ключевой факт #3Всего 16 ТБ NVMe; HPC SDK с компиляторами C, C++, Fortran

Главная проблема локального запуска больших языковых моделей — не скорость вычислений, а память: если веса не помещаются, модель просто не стартует. Nvidia на конференции SC26 в Чикаго показала DGX Spark HPC Developer Kit — кластер из четырёх компактных компьютеров DGX Spark. У каждого по 128 ГБ памяти, вместе получается 512 ГБ.

По заявлению компании, этого хватает для локального запуска моделей размером до 700 млрд параметров. Проще всего представить это так: модель на 700 млрд параметров в 4-битном формате занимает порядка 350 ГБ (это наша прикидка, а не цифра Nvidia). На одной машине со 128 ГБ она не поместится, а на четырёх объединённых — поместится.

Для разработчика это значит, что работать с закрытым кодом или данными можно у себя, без аренды облачных GPU.

Что внутри

Каждый узел построен на суперчипе GB10 Grace Blackwell: 20-ядерный Arm-процессор и графический ускоритель Blackwell. Память у узла — 128 ГБ LPDDR5X, общая для CPU и GPU, поэтому данные не нужно копировать между оперативной и видеопамятью. Пиковая производительность одного узла — 1 петафлопс в операциях FP4. Петафлопс — это квадриллион операций в секунду, а FP4 — формат чисел из 4 бит, в котором часто запускают сжатые модели. У четырёх узлов суммарно получается около 4 петафлопс по той же метрике. Общий объём NVMe-хранилища — 16 ТБ.

Узлы соединяются в кольцо через сетевые карты Nvidia ConnectX-7: каждый DGX Spark связан с двумя соседями. Поэтому отдельный сетевой коммутатор не нужен, и это упрощает сборку на рабочем столе или в небольшой лаборатории. Подробностей о скорости обмена между узлами в анонсе нет.

Для кого и что с софтом

Комплект рассчитан на исследователей и разработчиков, которым нужно локально запускать AI-модели, отлаживать распределённые приложения и проводить ресурсоёмкие расчёты. Представьте команду, которая пишет научную программу для большого суперкомпьютера. Сначала код можно проверить на четырёх узлах у себя, а потом отправлять в очередь на дорогую систему.

Для таких задач Nvidia готовит инструкцию по развёртыванию HPC SDK. В набор входят GPU-ускоренные компиляторы C, C++ и Fortran, библиотеки и средства обмена сообщениями MPI для научных приложений.

Цена и на что обратить внимание

Комплект уже можно заказать, но цену на сайте Nvidia не указывает: для подробностей нужно оставить заявку. Ориентир даёт розница: четыре отдельных DGX Spark со 128 ГБ памяти и SSD на 4 ТБ обойдутся почти в 28 тысяч долларов. Это без коммутации и дополнительного оборудования. Сколько будет стоить готовый набор, неизвестно.

Практический вывод такой. Если нагрузка постоянная, а данные чувствительные (внутренний код, медицинские или юридические документы), локальный кластер может быть разумной альтернативой облаку. Если модель нужна эпизодически, аренда, скорее всего, останется дешевле, но для точного вывода стоит посчитать вашу нагрузку.

Есть и оговорка. Заявление о 700 млрд параметров — это слова производителя, а независимых замеров скорости генерации на таких моделях пока нет. Память LPDDR5X обычно медленнее той, что стоит в серверных ускорителях, поэтому на самых больших моделях скорость ответа может оказаться скромной. Прежде чем покупать, имеет смысл дождаться первых независимых тестов и сравнить их с вашими требованиями.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что внутри?

Каждый узел построен на суперчипе GB10 Grace Blackwell: 20-ядерный Arm-процессор и графический ускоритель Blackwell. Память у узла — 128 ГБ LPDDR5X, общая для CPU и GPU, поэтому данные не нужно копировать между оперативной и видеопамятью. Пиковая производительность одного узла — 1 петафлопс в операциях FP4. Петафлопс — это квадриллион операций в секунду, а FP4 — формат чисел из 4 бит, в котором часто запускают сжатые модели. У четырёх узлов суммарно получается около 4 петафлопс по той же метрике.

Что известно по теме: для кого и что с софтом?

Комплект рассчитан на исследователей и разработчиков, которым нужно локально запускать AI-модели, отлаживать распределённые приложения и проводить ресурсоёмкие расчёты. Представьте команду, которая пишет научную программу для большого суперкомпьютера. Сначала код можно проверить на четырёх узлах у себя, а потом отправлять в очередь на дорогую систему. Для таких задач Nvidia готовит инструкцию по развёртыванию HPC SDK.

Что известно по теме: цена и на что обратить внимание?

Комплект уже можно заказать, но цену на сайте Nvidia не указывает: для подробностей нужно оставить заявку. Ориентир даёт розница: четыре отдельных DGX Spark со 128 ГБ памяти и SSD на 4 ТБ обойдутся почти в 28 тысяч долларов. Это без коммутации и дополнительного оборудования. Сколько будет стоить готовый набор, неизвестно. Практический вывод такой. Если нагрузка постоянная, а данные чувствительные (внутренний код, медицинские или юридические документы), локальный кластер может быть разумной альтернативой облаку.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…