Hugging Face: o backend de transformers no vLLM agora roda em velocidade nativa

Em 8 de julho de 2026, a Hugging Face publicou em seu blog os resultados de um benchmark: o backend da biblioteca transformers no vLLM agora iguala totalmente o desempenho das implementações nativas do vLLM nas arquiteturas compatíveis. Basta o desenvolvedor adicionar uma única flag, `--model-impl transformers`, ao iniciar o servidor, sem nenhuma mudança na infraestrutura.

O que muda para os desenvolvedores

Até agora, a inferência de alto desempenho no vLLM exigia implementações «manuais» separadas para cada arquitetura. A versão de pesquisa de um modelo no transformers e a versão de produção no vLLM divergiam, e cada atualização da arquitetura obrigava a sincronizar duas bases de código.

Agora a biblioteca transformers é compilada automaticamente em kernels otimizados do vLLM via `torch.fx` (análise estática do grafo de computação) e manipulações de AST para reescrever operações. Por baixo dos panos, o sistema constrói um grafo de computação, procura padrões que possam ser trocados por um único kernel otimizado e, nos modelos com tensor parallelism, também funde as camadas column-parallel e QKV-parallel.

Principais fatos:

• Data: 8 de julho de 2026, blog oficial da Hugging Face
• Flag de execução: `--model-impl transformers` no comando `vllm serve`
• Modelos de teste: Qwen3-4B (1 GPU), Qwen3-32B (2 GPUs, tensor parallelism), Qwen3-235B MoE FP8 (8×H100)
• Resultado: o backend iguala ou supera o throughput do vLLM nativo
• Compatibilidade: `torch.compile`, CUDA Graphs, suporte a treinamento (ausente nas implementações nativas do vLLM)
• Abrangência: mais de 450 arquiteturas na biblioteca transformers

Como foi testado na prática

A Hugging Face rodou o benchmark em três configurações do Qwen3, de complexidade crescente: Qwen3-4B em uma GPU, Qwen3-32B com tensor parallelism em duas GPUs e Qwen3-235B em FP8 com arquitetura Mixture-of-Experts em oito H100, com data parallelism e expert parallelism ao mesmo tempo. Nas três configurações, o backend de transformers entregou throughput igual ou superior ao do vLLM nativo.

«Desenvolvedores de modelos agora podem ter inferência ultrarrápida no vLLM de graça», — do blog oficial da

Hugging Face.

Há uma vantagem importante sobre as implementações nativas do vLLM: o backend de transformers mantém o suporte a treinamento. As implementações nativas do vLLM foram projetadas exclusivamente para inferência, e as equipes que precisavam ao mesmo tempo de fine-tuning e serving de alto desempenho tinham de manter dois caminhos de código separados.

Por que isso importa para o ecossistema

A biblioteca transformers é a implementação de referência de mais de 450 arquiteturas e está integrada ao SGLang, MLX e llama.cpp. A paridade com o vLLM nativo elimina um dos principais argumentos contra o uso dela em produção: a necessidade de reescrever os modelos para um motor de serving específico. Isso pesa especialmente num contexto de fragmentação, em que cada motor exigia antes a sua própria implementação.

O caminho entre a publicação de um novo modelo no Hugging Face Hub e um deploy de alto desempenho fica bem mais curto. O desenvolvedor não precisa mais esperar a equipe do vLLM adicionar suporte nativo a uma arquitetura: bastam uma flag e uma implementação compatível no transformers. Isso é particularmente importante para pesquisadores independentes e equipes pequenas, sem recursos para escrever e manter implementações próprias para o vLLM.

Limitações atuais: modelos com atenção linear (linear attention) ainda não são suportados; modelos personalizados de repositórios do Hub podem ter problemas de compatibilidade.

O que isso significa

A barreira entre o código de pesquisa no transformers e a inferência de alto desempenho no vLLM praticamente desapareceu. O que antes exigia otimização manual para cada motor agora se resolve com uma única flag de linha de comando — uma redução direta de custos de engenharia para as equipes que desenvolvem e implantam grandes modelos de linguagem.

Perguntas frequentes

Quais modelos o novo backend suporta?

O backend suporta mais de 450 arquiteturas da biblioteca transformers. Foi testado com Qwen3-4B, Qwen3-32B e Qwen3-235B MoE FP8. Modelos com atenção linear (linear attention) não são suportados na versão atual; modelos personalizados do Hub podem exigir uma verificação de compatibilidade.

Como rodar o vLLM com o backend de transformers?

Para uma GPU: `vllm serve Qwen/Qwen3-4B --model-impl transformers`. Para várias GPUs: `vllm serve Qwen/Qwen3-32B --model-impl transformers --tensor-parallel-size 2`. Nenhuma outra mudança na infraestrutura é necessária.