Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
ИнфраструктураAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

AWS встроил Dynamo в HyperPod: Qwen3-235B выдаёт 207 вместо 101 токена/с на GPU

Большая модель не влезает в один сервер, а длинный промпт одного клиента тормозит ответы остальным. AWS добавил в SageMaker HyperPod поддержку NVIDIA Dynamo: он отдаёт чтение запроса и генерацию ответа разным группам GPU. На Qwen3-235B и 16 GPU H200 вышло 207 токенов в секунду на GPU вместо 101, то есть в 2,05 раза больше. Если вы держите свою LLM на AWS, проверьте раздельный режим на реальном трафике.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
AWS встроил Dynamo в HyperPod: Qwen3-235B выдаёт 207 вместо 101 токена/с на GPU
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Два пути запускасвой DynamoGraphDeployment или IEC с dynamoSpec
Ключевой факт #2Qwen3.5-397B на двух узлах сохранил 99,1% скорости одного узла
Движки на выборvLLM (по умолчанию), SGLang, TensorRT-LLM

Представьте чат-бота на большой языковой модели. Один пользователь вставляет в запрос документ на сотню страниц, и пока GPU «читают» его, остальные клиенты ждут следующих слов своих ответов. Вторая беда: веса модели вообще не помещаются в память одного сервера. Amazon добавил в SageMaker HyperPod Inference (управляемую AWS платформу для запуска моделей на кластерах GPU) поддержку NVIDIA Dynamo, открытого фреймворка распределённого инференса. Он разделяет чтение запроса и генерацию ответа по разным группам GPU. В тесте на Qwen3-235B это дало 207 выходных токенов в секунду на каждый GPU против 101 при обычной схеме, то есть в 2,05 раза больше при тех же ограничениях по задержке.

Для масштаба: FP8-веса GLM-5.3, которую AWS берёт как пример, не помещаются в 640 ГБ памяти одного инстанса ml.p5.48xlarge. А ещё нужно место под KV-кэш (память модели о тексте, который она уже прочитала) и служебные данные рантайма.

Что именно умеет Dynamo

Первое: разделение работы на две фазы. В prefill модель «читает» промпт, в decode по одному генерирует токены ответа. Фазы нагружают железо по-разному, и когда они делят одни GPU, длинный промпт тормозит генерацию у других. Dynamo выделяет под каждую фазу свой пул воркеров, и масштабировать их можно независимо. KV-кэш между пулами передаётся по быстрой сети EFA.

Второе: многоузловой запуск. Один воркер может занимать несколько инстансов, если модель не помещается в один. Это работает и в раздельном режиме, и в обычном (aggregated), когда обе фазы идут на одном воркере.

Третье: KV-aware маршрутизация. Роутер видит, у какого воркера уже лежит кэш для общего начала промпта, и учитывает его загрузку. Например, если у всех запросов один и тот же длинный системный промпт, его не нужно пересчитывать заново. Время до первого токена падает, а перегруженные воркеры не получают лишнего.

HyperPod добавляет то, что обычно приходится собирать руками: мониторинг здоровья узлов, GPU и EFA, замену сбойных узлов и согласованное размещение подов. Для многоузловых воркеров планировщик Kubernetes AI (KAI) с gang scheduling запускает все нужные поды одновременно, чтобы воркер не завис наполовину запущенным.

Два способа развернуть

Если вы уже работаете с Dynamo, можно принести свой DynamoGraphDeployment (DGD). Документация и рецепты остаются прежними, но хранилище, сеть, размещение подов и автомасштабирование вы настраиваете сами. Если вы пользуетесь HyperPod Inference, достаточно InferenceEndpointConfig (IEC) с секцией dynamoSpec. Оператор сам подтянет веса из S3 или FSx, поднимет эндпоинт с TLS и подключит автомасштабирование через KEDA.

Конфигурация короткая. Для двух инстансов (16 GPU) указываются nodesPerReplica: 2 и tensorParallelism: 16, а routingMode: kv-aware включает умную маршрутизацию. В раздельном режиме блок aggregation заменяется на prefill и decode с отдельными числами реплик. Пример AWS: одна реплика prefill и две decode по два инстанса каждая, всего шесть инстансов. Запрос к эндпоинту идёт через SageMaker Runtime в формате, совместимом с OpenAI.

Что показали замеры

Первый тест: Qwen3-235B-A22B-FP8 на TensorRT-LLM, два инстанса p5en.48xlarge (16 GPU H200), запросы по 4 000 входных и 200 выходных токенов. Учитывались только режимы, где P90 времени до первого токена был меньше секунды, а медианная скорость генерации не ниже 50 токенов в секунду на пользователя. Лучший раздельный результат составил 207 токенов в секунду на GPU при конкурентности 80, лучший обычный — 101 при конкурентности 32.

Второй тест проверял, не штрафует ли межузловая связь. Qwen3.5-397B-A17B-FP8 на vLLM с TP4 × PP2 запускали на одном инстансе с восемью GPU и на двух инстансах по четыре GPU. На агентной нагрузке с частым повтором префиксов при конкурентности 32 двухузловая схема дала 126,4 токена в секунду на GPU, то есть 99,1% от результата одного узла. Эта модель помещается на один инстанс, так что в реальности её делить не стоит. Тест служил контрольной проверкой: граница между узлами почти ничего не стоит.

Что с этим делать

Цифры получены самими AWS и NVIDIA на двух моделях и конкретных профилях трафика, поэтому 2,05× не стоит переносить на свою систему. Раздельный режим логичнее пробовать при длинных промптах и жёстких лимитах на задержку.

Рекомендации авторов практичны. Возьмите рецепт Dynamo под свою модель, движок и GPU. Перед замерами проверьте, что KV-кэш между воркерами идёт именно по EFA. Прогоните AIPerf на реальном трафике с разной конкурентностью и оставьте точки, которые укладываются в ваши SLA. Настройку начинайте с топологии и распределения воркеров, и лишь потом переходите к параметрам движка, меняя по одной переменной за раз.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно умеет Dynamo?

Первое: разделение работы на две фазы. В prefill модель «читает» промпт, в decode по одному генерирует токены ответа. Фазы нагружают железо по-разному, и когда они делят одни GPU, длинный промпт тормозит генерацию у других. Dynamo выделяет под каждую фазу свой пул воркеров, и масштабировать их можно независимо. KV-кэш между пулами передаётся по быстрой сети EFA. Второе: многоузловой запуск. Один воркер может занимать несколько инстансов, если модель не помещается в один.

Что известно по теме: два способа развернуть?

Если вы уже работаете с Dynamo, можно принести свой DynamoGraphDeployment (DGD). Документация и рецепты остаются прежними, но хранилище, сеть, размещение подов и автомасштабирование вы настраиваете сами. Если вы пользуетесь HyperPod Inference, достаточно InferenceEndpointConfig (IEC) с секцией dynamoSpec. Оператор сам подтянет веса из S3 или FSx, поднимет эндпоинт с TLS и подключит автомасштабирование через KEDA. Конфигурация короткая.

Что известно по теме: что показали замеры?

Первый тест: Qwen3-235B-A22B-FP8 на TensorRT-LLM, два инстанса p5en.48xlarge (16 GPU H200), запросы по 4 000 входных и 200 выходных токенов. Учитывались только режимы, где P90 времени до первого токена был меньше секунды, а медианная скорость генерации не ниже 50 токенов в секунду на пользователя. Лучший раздельный результат составил 207 токенов в секунду на GPU при конкурентности 80, лучший обычный — 101 при конкурентности 32. Второй тест проверял, не штрафует ли межузловая связь.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…