GPUDirect и TurboQuant: AWS ускоряет загрузку больших LLM на GPU

AWS описала в блоге AWS Machine Learning Blog проблему, с которой всё чаще сталкиваются команды, разворачивающие большие языковые модели (LLM) на GPU-инстансах в облаке: чем крупнее модель, которую нужно загрузить в высокоскоростную память графических ускорителей (High Bandwidth Memory, HBM), тем дольше приходится ждать, прежде чем GPU будут готовы к инференсу. Судя по заголовку публикации, компания предлагает решать эту проблему связкой технологий GPUDirect и TurboQuant, ускоряющих загрузку крупных моделей на GPU.

В чём проблема с загрузкой больших моделей

Современные языковые модели насчитывают сотни миллиардов параметров, а GPU-кластеры, на которых они разворачиваются, продолжают расти в размерах. Загрузка весов такой модели с диска или из облачного хранилища в память GPU — не мгновенная операция: данные должны пройти через несколько промежуточных звеньев инфраструктуры, прежде чем окажутся в HBM видеокарты и модель сможет начать отвечать на запросы. Каждая лишняя секунда простоя дорогих GPU-инстансов в ожидании загрузки напрямую превращается в потерянные деньги — особенно при частом масштабировании, перезапуске инстансов или развёртывании новых версий модели в проде.

Ключевые факты:

• Речь идёт о загрузке LLM в высокоскоростную память GPU (HBM).
• Проблема усиливается по мере роста моделей до сотен миллиардов параметров.
• GPU-кластеры для инференса продолжают расти в масштабе.
• Заявленное решение AWS сочетает технологии GPUDirect и TurboQuant.
• Материал опубликован в AWS Machine Learning Blog.

Как GPUDirect ускоряет процесс

GPUDirect — общее название семейства технологий прямого доступа к памяти GPU, которые позволяют данным перемещаться между хранилищем (или сетевой картой) и памятью видеокарты напрямую, минуя лишние копирования через оперативную память и процессор хоста. В контексте загрузки больших моделей это означает, что веса модели могут поступать из быстрого хранилища сразу в HBM GPU, не создавая узкое место на стороне CPU — именно такие промежуточные копирования традиционно и были одной из причин долгого времени старта крупных моделей на GPU-инстансах.

Что даёт TurboQuant

Вторая часть решения, TurboQuant, судя по названию, связана с квантованием — техникой сжатия весов модели за счёт снижения точности представления чисел, например переходом с 32- или 16-битных чисел на более компактные форматы. Чем меньше объём данных, которые нужно передать в память GPU, тем быстрее проходит загрузка при прочих равных условиях. Для команд, эксплуатирующих LLM в проде, сочетание более быстрого пути передачи данных (GPUDirect) и уменьшенного объёма самих данных за счёт квантования в теории способно заметно сократить время от запуска GPU-инстанса до момента, когда модель готова обслуживать первый запрос — критически важный показатель как для автоматического масштабирования под нагрузку, так и для общей стоимости владения ИИ-инфраструктурой в облаке.

Почему это важно именно сейчас

Проблема холодного старта больших моделей особенно остро стоит для сервисов, которые полагаются на автоматическое масштабирование числа GPU-инстансов в зависимости от нагрузки: если добавление нового инстанса под всплеск трафика занимает минуты из-за долгой загрузки весов модели, пользователи в этот период либо сталкиваются с задержками ответа, либо запросы обрабатываются недостаточным числом ускорителей. По мере того как компании переходят от экспериментов с относительно небольшими моделями к промышленной эксплуатации моделей на сотни миллиардов параметров, время загрузки перестаёт быть второстепенной технической деталью и превращается в фактор, напрямую влияющий на отзывчивость сервиса и на то, сколько дорогостоящих GPU-часов уходит впустую на ожидание, а не на полезные вычисления.

Для облачного провайдера вроде AWS ускорение загрузки моделей — это ещё и вопрос конкурентоспособности собственной инфраструктуры: клиенты, разворачивающие LLM в проде, сравнивают не только стоимость аренды GPU-инстансов, но и то, сколько времени и денег уходит на весь цикл от запуска до готовности сервиса принимать реальный трафик. Публикация подобных инженерных разборов в AWS Machine Learning Blog одновременно решает практическую задачу — делится оптимизациями с сообществом разработчиков — и служит демонстрацией того, что провайдер системно работает над устранением узких мест, которые пользователи облачных GPU встречают на практике при масштабировании собственных ИИ-сервисов.