NVIDIA TensorRT turns FP8 checkpoints into engines for fast inference

NVIDIA опубликовала подробное руководство по конвертации FP8-квантизованных чекпоинтов в TensorRT-движки — финальному шагу, который определяет реальную скорость и стоимость инференса в продакшне.

Зачем нужен этот шаг Квантизация модели — только половина работы.

После того как веса сжаты с 16-битной до 8-битной точности, файл чекпоинта хранится в оптимизированном формате, но GPU не может работать с ним напрямую. Нужен дополнительный этап: компиляция в специализированный движок. TensorRT берёт квантизованный граф вычислений и переструктурирует его под конкретное железо. Он объединяет совместимые операции (layer fusion), выбирает наиболее эффективные CUDA-ядра для каждой операции и заранее распределяет память. Результат — один компактный `.engine`-файл, заточенный под определённый GPU и версию CUDA.

Что даёт связка FP8 +

TensorRT FP8 — восьмибитный формат с плавающей точкой — стал стандартом де-факто для квантизации на картах архитектуры Hopper (H100) и Ada Lovelace (RTX 4090). Преимущества перед FP16: Вдвое меньше видеопамяти под веса модели Вдвое выше пропускная способность матричных операций на tensor cores Значительно меньше потерь точности по сравнению с INT8 Поддержка на уровне аппаратного обеспечения — без программной эмуляции Когда FP8-модель компилируется в TensorRT-движок, эффекты складываются. Инженеры NVIDIA фиксируют ускорение инференса в 2–4 раза по сравнению с FP16-базой на PyTorch при сопоставимых показателях точности.

CLIP как учебный пример

Руководство построено на примере модели CLIP (Contrastive Language-Image Pretraining) — двойного энкодера, который связывает текстовые описания с изображениями. CLIP входит в большинство диффузионных пайплайнов: Stable Diffusion, FLUX и их аналогов. Скорость его работы напрямую влияет на время генерации каждого изображения.

«Мы производим высококачественный FP8-квантизованный чекпоинт CLIP с помощью

TensorRT Model Optimizer, затем конвертируем его в полноценный инференс-движок», — описывают инженеры NVIDIA цель руководства. Технически процесс выглядит так: загрузка чекпоинта через TensorRT Model Optimizer API, трассировка ONNX-графа, затем компиляция через утилиту `trtexec` или Python-биндинги. TensorRT автоматически перебирает тактики для каждого слоя и выбирает наиболее быструю. Этот процесс занимает несколько минут, но результат кэшируется и повторно не пересчитывается. Важное ограничение: `.engine`-файл привязан к конкретному GPU и версии CUDA. Движок, собранный для H100, не запустится на A100 или RTX 4090. Для гетерогенных кластеров нужно собирать отдельные движки под каждый тип ускорителя — это необходимо закладывать в CI/CD пайплайн деплоя.

Что это значит Связка TensorRT + FP8 превращается в стандарт для продакшн-деплоя больших моделей.

Ускорение в 2–4× на одном GPU — это либо прямая экономия на кластере, либо возможность обслуживать вдвое больше пользователей на том же железе. Руководство NVIDIA снижает порог входа: теперь это не экспертная экзотика, а задокументированный процесс с готовым кодом.