AWS встроил Dynamo в HyperPod: Qwen3-235B выдаёт 207 вместо 101 токена/с на GPU
Большая модель не влезает в один сервер, а длинный промпт одного клиента тормозит ответы остальным. AWS добавил в SageMaker HyperPod поддержку NVIDIA Dynamo: он отдаёт чтение запроса и генерацию ответа разным группам GPU. На Qwen3-235B и 16 GPU H200 вышло 207 токенов в секунду на GPU вместо 101, то есть в 2,05 раза больше. Если вы держите свою LLM на AWS, проверьте раздельный режим на реальном трафике.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Представьте чат-бота на большой языковой модели. Один пользователь вставляет в запрос документ на сотню страниц, и пока GPU «читают» его, остальные клиенты ждут следующих слов своих ответов. Вторая беда: веса модели вообще не помещаются в память одного сервера. Amazon добавил в SageMaker HyperPod Inference (управляемую AWS платформу для запуска моделей на кластерах GPU) поддержку NVIDIA Dynamo, открытого фреймворка распределённого инференса. Он разделяет чтение запроса и генерацию ответа по разным группам GPU. В тесте на Qwen3-235B это дало 207 выходных токенов в секунду на каждый GPU против 101 при обычной схеме, то есть в 2,05 раза больше при тех же ограничениях по задержке.
Для масштаба: FP8-веса GLM-5.3, которую AWS берёт как пример, не помещаются в 640 ГБ памяти одного инстанса ml.p5.48xlarge. А ещё нужно место под KV-кэш (память модели о тексте, который она уже прочитала) и служебные данные рантайма.
Что именно умеет Dynamo
Первое: разделение работы на две фазы. В prefill модель «читает» промпт, в decode по одному генерирует токены ответа. Фазы нагружают железо по-разному, и когда они делят одни GPU, длинный промпт тормозит генерацию у других. Dynamo выделяет под каждую фазу свой пул воркеров, и масштабировать их можно независимо. KV-кэш между пулами передаётся по быстрой сети EFA.
Второе: многоузловой запуск. Один воркер может занимать несколько инстансов, если модель не помещается в один. Это работает и в раздельном режиме, и в обычном (aggregated), когда обе фазы идут на одном воркере.
Третье: KV-aware маршрутизация. Роутер видит, у какого воркера уже лежит кэш для общего начала промпта, и учитывает его загрузку. Например, если у всех запросов один и тот же длинный системный промпт, его не нужно пересчитывать заново. Время до первого токена падает, а перегруженные воркеры не получают лишнего.
HyperPod добавляет то, что обычно приходится собирать руками: мониторинг здоровья узлов, GPU и EFA, замену сбойных узлов и согласованное размещение подов. Для многоузловых воркеров планировщик Kubernetes AI (KAI) с gang scheduling запускает все нужные поды одновременно, чтобы воркер не завис наполовину запущенным.
Два способа развернуть
Если вы уже работаете с Dynamo, можно принести свой DynamoGraphDeployment (DGD). Документация и рецепты остаются прежними, но хранилище, сеть, размещение подов и автомасштабирование вы настраиваете сами. Если вы пользуетесь HyperPod Inference, достаточно InferenceEndpointConfig (IEC) с секцией dynamoSpec. Оператор сам подтянет веса из S3 или FSx, поднимет эндпоинт с TLS и подключит автомасштабирование через KEDA.
Конфигурация короткая. Для двух инстансов (16 GPU) указываются nodesPerReplica: 2 и tensorParallelism: 16, а routingMode: kv-aware включает умную маршрутизацию. В раздельном режиме блок aggregation заменяется на prefill и decode с отдельными числами реплик. Пример AWS: одна реплика prefill и две decode по два инстанса каждая, всего шесть инстансов. Запрос к эндпоинту идёт через SageMaker Runtime в формате, совместимом с OpenAI.
Что показали замеры
Первый тест: Qwen3-235B-A22B-FP8 на TensorRT-LLM, два инстанса p5en.48xlarge (16 GPU H200), запросы по 4 000 входных и 200 выходных токенов. Учитывались только режимы, где P90 времени до первого токена был меньше секунды, а медианная скорость генерации не ниже 50 токенов в секунду на пользователя. Лучший раздельный результат составил 207 токенов в секунду на GPU при конкурентности 80, лучший обычный — 101 при конкурентности 32.
Второй тест проверял, не штрафует ли межузловая связь. Qwen3.5-397B-A17B-FP8 на vLLM с TP4 × PP2 запускали на одном инстансе с восемью GPU и на двух инстансах по четыре GPU. На агентной нагрузке с частым повтором префиксов при конкурентности 32 двухузловая схема дала 126,4 токена в секунду на GPU, то есть 99,1% от результата одного узла. Эта модель помещается на один инстанс, так что в реальности её делить не стоит. Тест служил контрольной проверкой: граница между узлами почти ничего не стоит.
Что с этим делать
Цифры получены самими AWS и NVIDIA на двух моделях и конкретных профилях трафика, поэтому 2,05× не стоит переносить на свою систему. Раздельный режим логичнее пробовать при длинных промптах и жёстких лимитах на задержку.
Рекомендации авторов практичны. Возьмите рецепт Dynamo под свою модель, движок и GPU. Перед замерами проверьте, что KV-кэш между воркерами идёт именно по EFA. Прогоните AIPerf на реальном трафике с разной конкурентностью и оставьте точки, которые укладываются в ваши SLA. Настройку начинайте с топологии и распределения воркеров, и лишь потом переходите к параметрам движка, меняя по одной переменной за раз.
- 18 нояб. 2026 г.Новая модель Jev отвечает за 150 мс вместо 1,89 с у GPT-6 Astra
- 18 нояб. 2026 г.AWS показала, как пустить агентов Bedrock к частным API через центральный файрвол
- 18 нояб. 2026 г.Airbnb сменил модель для кодинг-агентов — расходы тяжёлых пользователей упали в 7 раз
- 18 нояб. 2026 г.Duco ужала контекст агентов на 90% и в 10 раз ускорила перенос сверок банков
Вопросы и ответы по материалу
Что известно по теме: что именно умеет Dynamo?
Первое: разделение работы на две фазы. В prefill модель «читает» промпт, в decode по одному генерирует токены ответа. Фазы нагружают железо по-разному, и когда они делят одни GPU, длинный промпт тормозит генерацию у других. Dynamo выделяет под каждую фазу свой пул воркеров, и масштабировать их можно независимо. KV-кэш между пулами передаётся по быстрой сети EFA. Второе: многоузловой запуск. Один воркер может занимать несколько инстансов, если модель не помещается в один.
Что известно по теме: два способа развернуть?
Если вы уже работаете с Dynamo, можно принести свой DynamoGraphDeployment (DGD). Документация и рецепты остаются прежними, но хранилище, сеть, размещение подов и автомасштабирование вы настраиваете сами. Если вы пользуетесь HyperPod Inference, достаточно InferenceEndpointConfig (IEC) с секцией dynamoSpec. Оператор сам подтянет веса из S3 или FSx, поднимет эндпоинт с TLS и подключит автомасштабирование через KEDA. Конфигурация короткая.
Что известно по теме: что показали замеры?
Первый тест: Qwen3-235B-A22B-FP8 на TensorRT-LLM, два инстанса p5en.48xlarge (16 GPU H200), запросы по 4 000 входных и 200 выходных токенов. Учитывались только режимы, где P90 времени до первого токена был меньше секунды, а медианная скорость генерации не ниже 50 токенов в секунду на пользователя. Лучший раздельный результат составил 207 токенов в секунду на GPU при конкурентности 80, лучший обычный — 101 при конкурентности 32. Второй тест проверял, не штрафует ли межузловая связь.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.