AWS y vLLM incorporan P-EAGLE para acelerar hasta 1,69 veces la inferencia de LLM grandes

AWS y el equipo de vLLM han presentado P-EAGLE, una nueva forma de acelerar la inferencia de grandes modelos de lenguaje sin cambiar el modelo principal. El enfoque ya está integrado en vLLM y, en pruebas con GPT-OSS 20B, logró hasta 1,69 veces más rendimiento que el EAGLE-3 convencional.

Dónde estaba el cuello de botella

La decodificación especulativa se considera desde hace tiempo una de las formas más prácticas de acelerar los LLM en inferencia. Un modelo auxiliar propone de antemano varios tokens siguientes y el modelo principal comprueba rápidamente cuáles se pueden aceptar. El método EAGLE ya aportó una mejora notable y se usaba en vLLM, SGLang y TensorRT-LLM.

Pero seguía habiendo un problema importante: para generar K tokens borrador, el modelo drafter tenía que ejecutar K forward passes secuenciales. Cuanto más profunda era la especulación, más latencia añadía el propio borrador. Por eso el EAGLE clásico chocaba con un techo oculto. En teoría convenía especular más a fondo y aceptar más tokens por ronda, pero en la práctica el trabajo adicional del drafter empezaba a consumir la ganancia.

Los autores de P-EAGLE eliminan justo esta limitación: los K tokens borrador se generan en una sola pasada. Eso inclina el equilibrio a favor de una especulación más agresiva, sobre todo en respuestas largas y tareas de código, donde cada operación secuencial extra se nota en la latencia y el throughput.

Cómo funciona P-EAGLE

La arquitectura de P-EAGLE tiene dos pasos. Primero, el modelo objetivo procesa el prompt y predice el siguiente token, como de costumbre. Al mismo tiempo, el sistema guarda los hidden states internos de las posiciones del prompt y del nuevo token.

Después, el drafter prepara en paralelo las entradas de todas las posiciones futuras: para las partes ya conocidas de la secuencia usa embeddings y hidden states reales, y para las posiciones que aún no existen sustituye máscaras entrenables y un vector oculto común. A continuación, varios tokens futuros se predicen en un único forward pass, en lugar de una cadena de varios pasos.

El entrenamiento con secuencias largas es una dificultad aparte. AWS indica que, con GPT-OSS 120B en UltraChat, la longitud mediana de la secuencia, sumando prompt y generación, llegaba a 3891 tokens, y el percentil 90 a 10800 tokens. Con el borrador paralelo la memoria crece muy rápido, porque el número de posiciones pasa a ser N × K. Para resolverlo, los autores añadieron un algoritmo de sequence partition: divide una secuencia larga en fragmentos contiguos, conserva las dependencias de atención correctas entre ellos y permite acumular gradientes dentro de un mismo ejemplo, y no solo entre distintos batches.

Integración y cifras

La parte práctica va más allá del artículo: P-EAGLE ya está en vLLM desde la versión 0.16.0. Para activarlo basta con usar la decodificación especulativa con el flag parallel_drafting: true y conectar un drafter head compatible. AWS ya ha publicado checkpoints listos para GPT-OSS 120B, GPT-OSS 20B y Qwen3-Coder 30B, así que se puede probar la tecnología sin entrenar desde cero.

• La integración llegó a vLLM en la versión 0.16.0
• El modo se activa con el flag parallel_drafting: true
• Hay modelos head de P-EAGLE listos para GPT-OSS 120B, GPT-OSS 20B y Qwen3-Coder 30B
• En NVIDIA B200, la mejora sobre el EAGLE-3 convencional fue de entre 1,05× y 1,69×
• El mejor rendimiento de P-EAGLE en las pruebas se alcanzó con una profundidad de especulación de K=7

Los benchmarks muestran un resultado estable. En MT-Bench, HumanEval y SPEED-Bench, el nuevo método logró una mejora del 55–69% con baja concurrencia y mantuvo una ventaja del 5–25% incluso con carga alta.

Además de la velocidad, aumentó la acceptance length, es decir, el número medio de tokens borrador que el verificador acepta en una ronda. Por ejemplo, con K=7 en HumanEval, P-EAGLE obtuvo 3,94 frente a 3,03 de EAGLE-3, y en SPEED-Bench 3,38 frente a 2,59.

AWS señala aparte que ejecutar GPT-OSS 20B con un drafter EAGLE todavía requiere un parche de una línea en vLLM, que debería incluirse en una de las próximas versiones.

Qué significa

Para los equipos que ya usan vLLM en producción, P-EAGLE parece una mejora poco habitual que no obliga a rehacer toda la pila: el nuevo esquema está integrado en un runtime conocido y se activa con la configuración más un checkpoint compatible. Si el ecosistema consigue pronto más modelos drafter entrenados en paralelo, esta variante de decodificación especulativa podría convertirse en el nuevo estándar para una inferencia de LLM rápida y barata.