AWS e vLLM adotam P-EAGLE para acelerar em até 1,69 vez a inferência de LLMs grandes

A AWS e a equipe do vLLM apresentaram o P-EAGLE, uma nova forma de acelerar a inferência de grandes modelos de linguagem sem trocar o modelo principal. A abordagem já está integrada ao vLLM e, em testes com o GPT-OSS 20B, entregou até 1,69 vez mais vazão do que o EAGLE-3 convencional.

Onde estava o gargalo

A decodificação especulativa é vista há tempos como uma das formas mais práticas de acelerar LLMs na inferência. Um modelo auxiliar propõe antecipadamente vários próximos tokens, e o modelo principal verifica rapidamente quais podem ser aceitos. O método EAGLE já trazia um ganho perceptível e era usado no vLLM, no SGLang e no TensorRT-LLM.

Mas um problema importante permanecia: para gerar K tokens de rascunho, o modelo drafter precisava executar K forward passes sequenciais. Quanto mais profunda a especulação, maior a latência do próprio rascunho. Por isso, o EAGLE clássico esbarrava em um teto oculto. No papel, valia a pena especular mais fundo e aceitar mais tokens por rodada, mas na prática o trabalho extra do drafter passava a consumir o ganho.

Os autores do P-EAGLE eliminam exatamente essa limitação: todos os K tokens de rascunho são gerados em uma única passada. Isso muda o equilíbrio a favor de uma especulação mais agressiva, principalmente em respostas longas e tarefas de código, em que cada operação sequencial extra pesa na latência e na vazão.

Como o P-EAGLE funciona

A arquitetura do P-EAGLE tem duas etapas. Primeiro, o modelo-alvo processa o prompt e prevê o próximo token, como de costume. Ao mesmo tempo, o sistema guarda os hidden states internos das posições do prompt e do novo token.

Em seguida, o drafter monta em paralelo as entradas de todas as posições futuras: para as partes já conhecidas da sequência, usa embeddings e hidden states reais; para as posições que ainda não existem, insere máscaras treináveis e um vetor oculto comum. Depois disso, vários tokens futuros são previstos em um único forward pass, e não em uma cadeia de vários passos.

O treinamento com sequências longas é um desafio à parte. A AWS informa que, no GPT-OSS 120B com UltraChat, o comprimento mediano da sequência, somando prompt e geração, chegou a 3891 tokens, e o percentil 90 a 10800 tokens. Com o rascunho paralelo, a memória cresce muito rápido, porque o número de posições passa a ser N × K. Para lidar com isso, os autores criaram um algoritmo de sequence partition: ele divide uma sequência longa em blocos contínuos, preserva as dependências de atenção corretas entre eles e permite acumular gradientes dentro de um mesmo exemplo, e não apenas entre batches diferentes.

Integração e números

A parte prática foi além do artigo: o P-EAGLE já foi adicionado ao vLLM, a partir da versão 0.16.0. Para ativá-lo, basta usar a decodificação especulativa com a flag parallel_drafting: true e conectar um drafter head compatível. A AWS já publicou checkpoints prontos para GPT-OSS 120B, GPT-OSS 20B e Qwen3-Coder 30B, então dá para testar a tecnologia sem treinar do zero.

• A integração chegou ao vLLM na versão 0.16.0
• O modo é ativado pela flag parallel_drafting: true
• Há modelos head do P-EAGLE prontos para GPT-OSS 120B, GPT-OSS 20B e Qwen3-Coder 30B
• Na NVIDIA B200, o ganho sobre o EAGLE-3 convencional ficou entre 1,05× e 1,69×
• A melhor vazão do P-EAGLE nos testes veio com profundidade de especulação K=7

Os benchmarks mostram um quadro consistente. No MT-Bench, no HumanEval e no SPEED-Bench, o novo método teve ganho de 55–69% com baixa concorrência e manteve vantagem de 5–25% mesmo sob carga alta.

Além da velocidade, cresceu também a acceptance length, o número médio de tokens de rascunho que o verificador aceita por rodada. Por exemplo, com K=7 no HumanEval, o P-EAGLE chegou a 3,94 contra 3,03 do EAGLE-3, e no SPEED-Bench a 3,38 contra 2,59.

A AWS observa à parte que rodar o GPT-OSS 20B com um drafter EAGLE ainda exige um patch de uma linha no vLLM, que deve entrar em um dos próximos lançamentos.

O que isso significa

Para equipes que já usam o vLLM em produção, o P-EAGLE parece uma melhoria rara que não exige refazer toda a stack: o novo esquema está embutido em um runtime conhecido e é ativado por configuração mais um checkpoint compatível. Se o ecossistema ganhar rapidamente mais modelos drafter treinados de forma paralela, essa variante de decodificação especulativa pode se tornar o novo padrão para inferência de LLMs rápida e barata.