AWS запустила управляемый NVIDIA Dynamo для моделей, которые не влезают в один сервер
Если веса модели не влезают в память ни одного GPU-сервера, кластер для инференса приходится собирать вручную. AWS взяла это на себя: NVIDIA Dynamo теперь работает в SageMaker HyperPod как управляемый движок. Одна копия модели растягивается на несколько узлов, разбор промпта и генерация токенов идут на разных пулах GPU, а упавший узел заменяется сам. Для команд с большими reasoning-моделями это убирает самую муторную часть эксплуатации.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Крупные reasoning-модели упираются в простую физику: веса не помещаются в память GPU ни на одном сервере. Добавьте длинные промпты с retrieval-контекстом, которые тормозят генерацию для остальных пользователей, и получится знакомая головная боль продакшн-команд. В ноябре 2026 года AWS объявила о запуске управляемого NVIDIA Dynamo на SageMaker HyperPod Inference. Это часть большого обзора запусков SageMaker Inference за 2026 год, но именно этот релиз закрывает самую тяжёлую инженерную задачу — обслуживание моделей, которые больше одной машины.
Что такое Dynamo и чем он был неудобен
NVIDIA Dynamo — открытый фреймворк для инференса. Он умеет три вещи: раскладывать одну копию модели на несколько узлов (шардирование), разделять обработку промпта (prefill) и генерацию токенов (decode) и направлять запрос туда, где уже лежит нужный KV-кэш.
Запускать Dynamo на собственном Kubernetes можно было и раньше, но вокруг него приходилось строить всё самим. Нужно было размещать все узлы одной реплики рядом друг с другом. Нужно было настраивать сеть Elastic Fabric Adapter (EFA), чтобы prefill передавал KV-кэш в decode на скорости железа. Нужно было поддерживать образы серверов и разбираться с ситуацией, когда один упавший узел валит всю многоузловую реплику.
Как разделена работа теперь
Dynamo принимает решения по обслуживанию: как шардировать модель, как разделить prefill и decode, куда отправить каждый запрос. HyperPod обеспечивает всё, от чего эти решения зависят:
- GPU-мощности и сеть EFA разворачиваются и подключаются автоматически;
- состояние узлов отслеживается, неисправные заменяются, а многоузловые воркеры перепланируются сами;
- автомасштабирование, регистрация эндпоинтов, TLS и наблюдаемость идут из коробки;
- add-on Inference Operator ставит и обновляет Dynamo, образы серверов и планировщики Grove и KAI как единый пакет.
На практике это выглядит так. Команда, у которой есть reasoning-модель на сотни миллиардов параметров, запускает одну реплику на нескольких узлах. Prefill и decode работают на отдельных пулах GPU, и под каждый можно выбрать подходящий тип инстанса. Длинный промпт больше не замедляет ответы другим пользователям. А если узел отказывает, HyperPod заменяет его и перезапускает реплику, и дежурного инженера не будят.
KV-aware маршрутизация отправляет запрос воркеру, который уже держит нужный кэш. Это снижает время до первого токена, особенно в диалогах и RAG с повторяющимися префиксами.
Как начать и что с совместимостью
AWS описывает три пути:
- Если вы уже запускаете Dynamo на своём Kubernetes, можно перенести существующие манифесты DynamoGraphDeployment (DGD) почти без изменений.
- Если вы уже на HyperPod Inference, достаточно обновить add-on и добавить короткий блок dynamoSpec в существующий InferenceEndpointConfig. HyperPod преобразует его в DGD, а действующие эндпоинты продолжат работать.
- Если вы новичок в обоих, можно создать кластер с включённым add-on и Dynamo прямо из консоли.
Клиенты обращаются к стандартному OpenAI-совместимому эндпоинту, так что клиентский код менять не нужно. Поддерживаются движки vLLM, SGLang и TensorRT-LLM, а доступность совпадает с регионами, где есть HyperPod.
Ограничения и вывод
Цифр производительности в анонсе нет: AWS не приводит ни прироста скорости, ни экономии. Эффект от раздельных пулов и KV-маршрутизации придётся мерить на своём трафике. Кроме того, это путь для HyperPod с его кластерами и Kubernetes-подходом. Простые модели в AWS по-прежнему предлагается держать на управляемых эндпоинтах SageMaker.
Практический вывод простой. Если вы собирались самостоятельно разворачивать Dynamo или многоузловой vLLM, сначала посчитайте, сколько инженерного времени уйдёт на размещение узлов, сеть и восстановление после сбоев. Именно эту часть AWS теперь продаёт как сервис. Проверьте на пилоте время до первого токена и стоимость при вашем реальном соотношении длинных и коротких запросов. Для команд, которые планируют перейти на крупную reasoning-модель, это самый быстрый способ не превращаться в оператора GPU-кластера.
- 20 нояб. 2026 г.Anthropic собрала на IPO $104,8 млрд, но обязательства на инфраструктуру — $1 трлн
- 20 нояб. 2026 г.Kimi Code CLI научился работать с Amazon Bedrock без отдельного API-ключа
- 20 нояб. 2026 г.Турнир агентов в Cisco: 1200 инженеров, победил тот, кто писал 1220 токенов вместо 1430
- 20 нояб. 2026 г.Amazon SageMaker сама ищет простаивающие GPU и рост задержки у LLM-эндпоинтов
Вопросы и ответы по материалу
Что известно по теме: что такое Dynamo и чем он был неудобен?
NVIDIA Dynamo — открытый фреймворк для инференса. Он умеет три вещи: раскладывать одну копию модели на несколько узлов (шардирование), разделять обработку промпта (prefill) и генерацию токенов (decode) и направлять запрос туда, где уже лежит нужный KV-кэш. Запускать Dynamo на собственном Kubernetes можно было и раньше, но вокруг него приходилось строить всё самим. Нужно было размещать все узлы одной реплики рядом друг с другом.
Что известно по теме: как разделена работа теперь?
Dynamo принимает решения по обслуживанию: как шардировать модель, как разделить prefill и decode, куда отправить каждый запрос. HyperPod обеспечивает всё, от чего эти решения зависят: GPU-мощности и сеть EFA разворачиваются и подключаются автоматически; состояние узлов отслеживается, неисправные заменяются, а многоузловые воркеры перепланируются сами; автомасштабирование, регистрация эндпоинтов, TLS и наблюдаемость идут из коробки; add-on Inference Operator ставит и обновляет Dynamo, образы…
Что известно по теме: как начать и что с совместимостью?
AWS описывает три пути: Если вы уже запускаете Dynamo на своём Kubernetes, можно перенести существующие манифесты DynamoGraphDeployment (DGD) почти без изменений. Если вы уже на HyperPod Inference, достаточно обновить add-on и добавить короткий блок dynamoSpec в существующий InferenceEndpointConfig. HyperPod преобразует его в DGD, а действующие эндпоинты продолжат работать. Если вы новичок в обоих, можно создать кластер с включённым add-on и Dynamo прямо из консоли.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.