Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураОткрытые веса · В работуAWS Machine Learning Blog→ оригинал

AWS запустила управляемый NVIDIA Dynamo для моделей, которые не влезают в один сервер

Если веса модели не влезают в память ни одного GPU-сервера, кластер для инференса приходится собирать вручную. AWS взяла это на себя: NVIDIA Dynamo теперь работает в SageMaker HyperPod как управляемый движок. Одна копия модели растягивается на несколько узлов, разбор промпта и генерация токенов идут на разных пулах GPU, а упавший узел заменяется сам. Для команд с большими reasoning-моделями это убирает самую муторную часть эксплуатации.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
AWS запустила управляемый NVIDIA Dynamo для моделей, которые не влезают в один сервер
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
ДвижкиvLLM, SGLang и TensorRT-LLM; API остаётся OpenAI-совместимым
Ключевой факт #2Готовые DynamoGraphDeployment-манифесты переносятся почти без правок
Ключевой факт #3Запрос идёт к воркеру с готовым KV-кэшем, что снижает время до первого токена

Крупные reasoning-модели упираются в простую физику: веса не помещаются в память GPU ни на одном сервере. Добавьте длинные промпты с retrieval-контекстом, которые тормозят генерацию для остальных пользователей, и получится знакомая головная боль продакшн-команд. В ноябре 2026 года AWS объявила о запуске управляемого NVIDIA Dynamo на SageMaker HyperPod Inference. Это часть большого обзора запусков SageMaker Inference за 2026 год, но именно этот релиз закрывает самую тяжёлую инженерную задачу — обслуживание моделей, которые больше одной машины.

Что такое Dynamo и чем он был неудобен

NVIDIA Dynamo — открытый фреймворк для инференса. Он умеет три вещи: раскладывать одну копию модели на несколько узлов (шардирование), разделять обработку промпта (prefill) и генерацию токенов (decode) и направлять запрос туда, где уже лежит нужный KV-кэш.

Запускать Dynamo на собственном Kubernetes можно было и раньше, но вокруг него приходилось строить всё самим. Нужно было размещать все узлы одной реплики рядом друг с другом. Нужно было настраивать сеть Elastic Fabric Adapter (EFA), чтобы prefill передавал KV-кэш в decode на скорости железа. Нужно было поддерживать образы серверов и разбираться с ситуацией, когда один упавший узел валит всю многоузловую реплику.

Как разделена работа теперь

Dynamo принимает решения по обслуживанию: как шардировать модель, как разделить prefill и decode, куда отправить каждый запрос. HyperPod обеспечивает всё, от чего эти решения зависят:

  • GPU-мощности и сеть EFA разворачиваются и подключаются автоматически;
  • состояние узлов отслеживается, неисправные заменяются, а многоузловые воркеры перепланируются сами;
  • автомасштабирование, регистрация эндпоинтов, TLS и наблюдаемость идут из коробки;
  • add-on Inference Operator ставит и обновляет Dynamo, образы серверов и планировщики Grove и KAI как единый пакет.

На практике это выглядит так. Команда, у которой есть reasoning-модель на сотни миллиардов параметров, запускает одну реплику на нескольких узлах. Prefill и decode работают на отдельных пулах GPU, и под каждый можно выбрать подходящий тип инстанса. Длинный промпт больше не замедляет ответы другим пользователям. А если узел отказывает, HyperPod заменяет его и перезапускает реплику, и дежурного инженера не будят.

KV-aware маршрутизация отправляет запрос воркеру, который уже держит нужный кэш. Это снижает время до первого токена, особенно в диалогах и RAG с повторяющимися префиксами.

Как начать и что с совместимостью

AWS описывает три пути:

  • Если вы уже запускаете Dynamo на своём Kubernetes, можно перенести существующие манифесты DynamoGraphDeployment (DGD) почти без изменений.
  • Если вы уже на HyperPod Inference, достаточно обновить add-on и добавить короткий блок dynamoSpec в существующий InferenceEndpointConfig. HyperPod преобразует его в DGD, а действующие эндпоинты продолжат работать.
  • Если вы новичок в обоих, можно создать кластер с включённым add-on и Dynamo прямо из консоли.

Клиенты обращаются к стандартному OpenAI-совместимому эндпоинту, так что клиентский код менять не нужно. Поддерживаются движки vLLM, SGLang и TensorRT-LLM, а доступность совпадает с регионами, где есть HyperPod.

Ограничения и вывод

Цифр производительности в анонсе нет: AWS не приводит ни прироста скорости, ни экономии. Эффект от раздельных пулов и KV-маршрутизации придётся мерить на своём трафике. Кроме того, это путь для HyperPod с его кластерами и Kubernetes-подходом. Простые модели в AWS по-прежнему предлагается держать на управляемых эндпоинтах SageMaker.

Практический вывод простой. Если вы собирались самостоятельно разворачивать Dynamo или многоузловой vLLM, сначала посчитайте, сколько инженерного времени уйдёт на размещение узлов, сеть и восстановление после сбоев. Именно эту часть AWS теперь продаёт как сервис. Проверьте на пилоте время до первого токена и стоимость при вашем реальном соотношении длинных и коротких запросов. Для команд, которые планируют перейти на крупную reasoning-модель, это самый быстрый способ не превращаться в оператора GPU-кластера.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что такое Dynamo и чем он был неудобен?

NVIDIA Dynamo — открытый фреймворк для инференса. Он умеет три вещи: раскладывать одну копию модели на несколько узлов (шардирование), разделять обработку промпта (prefill) и генерацию токенов (decode) и направлять запрос туда, где уже лежит нужный KV-кэш. Запускать Dynamo на собственном Kubernetes можно было и раньше, но вокруг него приходилось строить всё самим. Нужно было размещать все узлы одной реплики рядом друг с другом.

Что известно по теме: как разделена работа теперь?

Dynamo принимает решения по обслуживанию: как шардировать модель, как разделить prefill и decode, куда отправить каждый запрос. HyperPod обеспечивает всё, от чего эти решения зависят: GPU-мощности и сеть EFA разворачиваются и подключаются автоматически; состояние узлов отслеживается, неисправные заменяются, а многоузловые воркеры перепланируются сами; автомасштабирование, регистрация эндпоинтов, TLS и наблюдаемость идут из коробки; add-on Inference Operator ставит и обновляет Dynamo, образы…

Что известно по теме: как начать и что с совместимостью?

AWS описывает три пути: Если вы уже запускаете Dynamo на своём Kubernetes, можно перенести существующие манифесты DynamoGraphDeployment (DGD) почти без изменений. Если вы уже на HyperPod Inference, достаточно обновить add-on и добавить короткий блок dynamoSpec в существующий InferenceEndpointConfig. HyperPod преобразует его в DGD, а действующие эндпоинты продолжат работать. Если вы новичок в обоих, можно создать кластер с включённым add-on и Dynamo прямо из консоли.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…