Hugging Face: el backend de transformers en vLLM ya funciona a velocidad nativa

8 июля 2026 года Hugging Face опубликовала в блоге результаты бенчмарка: бэкенд библиотеки transformers в vLLM теперь полностью соответствует по производительности нативным реализациям vLLM для совместимых архитектур — разработчикам достаточно добавить один флаг `--model-impl transformers` при запуске сервера, без каких-либо изменений в инфраструктуре.

Что изменилось для разработчиков

До этого момента высокопроизводительный инференс в vLLM требовал отдельных «ручных» реализаций под каждую архитектуру. Исследовательская версия модели в transformers и её продакшн-версия в vLLM расходились и при каждом обновлении архитектуры требовали синхронизации двух кодовых баз.

Теперь библиотека transformers автоматически компилируется в оптимизированные ядра vLLM через `torch.fx` (статический анализ графа вычислений) и манипуляции с AST для переписывания операций. Под капотом система строит граф вычислений, ищет паттерны для замены единым оптимизированным ядром и для моделей с tensor parallelism дополнительно объединяет column-parallel и QKV-parallel слои.

Ключевые факты:

• Дата: 8 июля 2026 года, официальный блог Hugging Face
• Флаг запуска: `--model-impl transformers` в команде `vllm serve`
• Тестовые модели: Qwen3-4B (1 GPU), Qwen3-32B (2 GPU, tensor parallelism), Qwen3-235B MoE FP8 (8×H100)
• Результат: бэкенд не уступает или превосходит нативный vLLM по пропускной способности
• Совместимость: `torch.compile`, CUDA Graphs, поддержка обучения (в нативных vLLM-реализациях отсутствует)
• Охват: 450+ архитектур в библиотеке transformers

Как проверяли на практике

Hugging Face провела бенчмарк на трёх конфигурациях Qwen3, нарастающих по сложности: Qwen3-4B на одном GPU, Qwen3-32B с tensor parallelism на двух GPU и Qwen3-235B в формате FP8 с архитектурой Mixture-of-Experts на восьми H100 с data parallelism и expert parallelism одновременно. На всех трёх конфигурациях transformers-бэкенд показал пропускную способность на уровне или выше нативного vLLM.

«Разработчики моделей теперь могут получить ультрабыстрый vLLM-инференс бесплатно», — из официального блога

Hugging Face.

Важное преимущество перед нативными vLLM-реализациями: transformers-бэкенд сохраняет поддержку обучения. Нативные реализации vLLM проектировались исключительно под инференс — команды, которым нужны одновременно файн-тюнинг и высокопроизводительный сервинг, прежде вынуждены были поддерживать два отдельных кодовых пути.

Почему это важно для экосистемы

Библиотека transformers служит референсной реализацией для 450+ архитектур и интегрирована в SGLang, MLX и llama.cpp. Паритет с нативным vLLM устраняет один из ключевых аргументов против её использования в продакшне — необходимость переписывать модели под конкретный сервинговый движок. Это особенно значимо в контексте фрагментации: каждый движок прежде требовал своей реализации.

Путь от публикации новой модели на Hugging Face Hub до высокопроизводительного деплоя существенно сокращается. Разработчику больше не нужно ждать, пока команда vLLM добавит нативную поддержку архитектуры — достаточно флага и совместимой реализации в transformers. Особенно это важно для независимых исследователей и небольших команд, у которых нет ресурсов на написание и поддержку отдельных vLLM-имплементаций.

Текущие ограничения: модели с линейным вниманием (linear attention) пока не поддерживаются; кастомные модели из репозиториев Hub могут столкнуться с проблемами совместимости.

Что это значит

Барьер между исследовательским кодом в transformers и производительным инференсом в vLLM практически исчез. То, что раньше требовало ручной оптимизации под каждый движок, теперь достигается одним флагом командной строки — прямое снижение инженерных затрат для команд, разрабатывающих и деплоящих большие языковые модели.

Частые вопросы

Какие модели поддерживает новый бэкенд?

Бэкенд поддерживает 450+ архитектур из библиотеки transformers. Протестирован на Qwen3-4B, Qwen3-32B и Qwen3-235B MoE FP8. Модели с линейным вниманием (linear attention) в текущей версии не поддерживаются; кастомные модели из Hub могут требовать проверки совместимости.

Как запустить vLLM с transformers-бэкендом?

Для одного GPU: `vllm serve Qwen/Qwen3-4B --model-impl transformers`. Для нескольких GPU: `vllm serve Qwen/Qwen3-32B --model-impl transformers --tensor-parallel-size 2`. Других изменений в инфраструктуре не требуется.