Tencent libera AngelSpec: un framework para acelerar la inferencia de LLM mediante speculative decoding

El 30 de julio de 2026, Tencent liberó el código fuente de AngelSpec, un framework torch-native para entrenar modelos borrador (draft) de speculative decoding. En los modelos Hy3, AngelSpec elevó el nivel medio de aceptación de los tokens propuestos del 52,8% al 66,4%, sin pérdida de calidad en la generación.

Qué es el speculative decoding

El speculative decoding es una técnica para acelerar la generación de un modelo de lenguaje grande sin perder calidad en la respuesta. Un modelo borrador ligero propone varios tokens futuros de golpe, y el modelo principal (target) los verifica todos en una sola pasada mediante rejection sampling. El método es lossless: el texto final coincide con el que habría generado el modelo principal por sí solo. La aceleración depende de dos factores: cuántos tokens borrador se aceptan y cuánto dura el ciclo completo de «borrador y verificación».

• Fecha de lanzamiento: 30 de julio de 2026, con licencia open source
• El framework es torch-native y funciona con modelos de la familia Hy3
• Cubre dos enfoques: MTP autorregresivo y la familia block-parallel DFlash (DFly, D-cut)
• Nivel medio de aceptación de tokens: 52,8% → 66,4% con T=0
• Longitud media del borrador aceptado: 2,58 → 2,99 tokens

Por qué un único modelo universal rinde peor

Un único modelo borrador universal rinde peor porque el tráfico real es heterogéneo y las dos métricas de velocidad tiran en direcciones opuestas. En un diálogo abierto de alta entropía son admisibles decenas de continuaciones, así que la aceptación cae rápido a medida que aumenta la profundidad de la propuesta, y generar un bloque largo no compensa. El código y las matemáticas se comportan de otro modo: la sintaxis, los identificadores repetidos y los desarrollos paso a paso restringen más los tokens futuros y crean tramos largos y predecibles.

Por eso AngelSpec incluye dos modelos draft en lugar de una solución de compromiso: el MTP se entrena con datos conversacionales variados, y el block-diffusion se refuerza con ejemplos de código y matemáticas.

«AngelSpec trata la heterogeneidad de la carga como una restricción de diseño de primera clase», señala el análisis de

MarkTechPost.

Cómo funciona la vía MTP

La vía MTP resuelve el desajuste entre entrenamiento e inferencia con un esquema de parámetros compartidos y varias profundidades. El modelo Hy3 original se entrenó con una sola capa MTP y sin despliegue recurrente, por lo que en la segunda y la tercera posición del borrador los tokens se aceptaban claramente peor. AngelSpec mantiene D profundidades lógicas, pero reutiliza un único bloque MTP físico y lo despliega en D pasos durante el entrenamiento. Siguiendo el principio Training-Time Test de EAGLE-3, la profundidad k+1 no recibe el token de referencia, sino la predicción argmax de la profundidad k. Además, el backbone principal y la cabeza de lenguaje permanecen congelados, y el entrenamiento se realiza sobre ejecuciones del propio modelo target.

El efecto se concentra donde hace falta. Según los datos de Tencent, en el benchmark GSM8K la aceptación en la tercera posición subió de 0,290 a 0,706 y en HumanEval, de 0,387 a 0,757, mientras que la primera posición apenas cambió (0,799 → 0,814).

Qué significa

AngelSpec muestra que conviene diseñar la aceleración de la inferencia no para un benchmark promedio, sino para la heterogeneidad real de la carga, con modelos borrador distintos para diálogo y para código. Para los equipos que sirven LLM en producción, es una herramienta abierta para exprimir más velocidad del mismo hardware sin que caiga la calidad.

Preguntas frecuentes

¿Qué es el speculative decoding en palabras sencillas?

Es un método para acelerar los LLM en el que un modelo pequeño adivina varios tokens siguientes por adelantado y uno grande los verifica en una sola pasada. Si las conjeturas son correctas, la generación va más rápido; la calidad del texto no cambia.

¿En qué se diferencia AngelSpec de un único modelo draft?

AngelSpec entrena dos modelos especializados: MTP para diálogos de alta entropía y block-parallel para código y matemáticas, con tramos largos y predecibles. Según las mediciones de Tencent, esto elevó el nivel medio de aceptación de tokens del 52,8% al 66,4%.