Inclusion AI acelera hasta 6,9 veces la generación de los LLM con un árbol de borradores

Inclusion AI ha presentado UBTree, un método para acelerar la generación de texto de los grandes modelos de lenguaje. Un modelo pequeño esboza de antemano un borrador en forma de árbol con 64 variantes de continuación, y el modelo grande verifica todas las ramas en una sola pasada. La cifra de «6,88×» de las pruebas significa que en Qwen3-4B la generación fue casi siete veces más rápida que la habitual, en la que el modelo emite un token por pasada. En Qwen3-8B la mejora fue de 6,94×. Es la media de siete pruebas, que van desde los problemas escolares de GSM8K y las matemáticas olímpicas de AIME hasta la programación de LiveCodeBench y los diálogos de MT-Bench.

Dónde fallan los drafters paralelos rápidos

La decodificación especulativa se basa en una idea sencilla. El modelo grande es lento porque, para cada token, hace pasar por sí mismo todos sus pesos. Por eso un modelo pequeño que hace de borrador (el drafter) propone varios tokens por adelantado. El modelo objetivo los verifica de una vez y acepta todo lo que va hasta el primer error. Cuanto más larga es la cadena aceptada, mayor es la ganancia.

Los drafters pueden ser secuenciales o paralelos. El secuencial compone los tokens de uno en uno; el paralelo entrega todo el bloque de golpe. DFlash y DSpark son paralelos, y UBTree desarrolla precisamente esta familia. Son rápidos, pero tienen un punto débil: evalúan cada posición del bloque casi con independencia de sus vecinas. Cuando la distribución del modelo objetivo es difusa y varias continuaciones son casi equiprobables, este tipo de drafter acierta mal qué palabras irán juntas. La cadena se corta antes de tiempo.

Dos pasos: selección de candidatos y ensamblado en árbol

UBTree corrige este problema sin renunciar al paralelismo. El borrador se construye en dos pasos paralelos.

• Primer paso. El modelo DFlash selecciona 64 variantes de token para cada una de las 16 posiciones del bloque. Sigue calculando las posiciones de forma independiente.
• Segundo paso. Un selector bigrama evalúa en qué medida una variante sirve como continuación de otra. Cada par de tokens vecinos pasa por dos pequeños perceptrones sobre los embeddings congelados del modelo objetivo, uno para el predecesor y otro para el sucesor. La puntuación resultante se suma a la de DFlash. El peso de esa puntuación depende de la profundidad de la posición.

Todos los pares se calculan a la vez. A partir de las puntuaciones de las transiciones se arma un árbol de 64 nodos, y el modelo objetivo lo verifica entero en una sola pasada. Una rama puede no coincidir con la elección del modelo grande, pero otra sí coincidirá.

El selector se entrenó con respuestas regeneradas a alta temperatura, con una función de pérdida KL renormalizada. Con este etiquetado, los datos de entrenamiento incluyen no solo las continuaciones más probables, sino también alternativas verosímiles. Por eso el árbol contiene con más frecuencia la rama que elegirá el modelo objetivo.

Qué muestran las mediciones

• Qwen3-4B y Qwen3-8B: aceleración media de 6,88× y 6,94× en siete pruebas.
• Frente a DARTree: UBTree superó al método en árbol más cercano en las 28 comparaciones, con una mejora media del 7,4–13,4%.
• Ling3-Flash-124B en SGLang: 3,27× frente a 2,73× de DSpark y 2,80× de DFlash.
• Qwen3.8-27B: 4,78× frente a 4,32× de DSpark.
• Contexto largo (LongBench-v2): el número de tokens aceptados en una ronda de verificación es entre un 31,0 y un 39,7% superior al del competidor más fuerte.

Conviene fijarse en la dispersión de los resultados. La mejora de casi siete veces se obtuvo en modelos Qwen3 pequeños. En Ling3-Flash, de 124 000 millones de parámetros, la aceleración en servicio real es más modesta: 3,27×. Aun así, la diferencia es notable: en las mismas mediciones, DFlash y DSpark logran 2,80× y 2,73×.

Qué se puede usar ya

Junto con el método, Inclusion AI ha publicado dos modelos borrador con licencia MIT:

• Ling3-Tiny-UBTree, con 183 millones de parámetros. Funciona en pareja con Ling-3.0-tiny (8000 millones de parámetros, de ellos 1000 millones activos).
• Ling3-Flash-UBTree, con 482 millones de parámetros. Funciona en pareja con Ling-3.0-flash (124 000 millones de parámetros, 5000 millones activos).

Estos modelos no generan nada por sí solos. Solo sirven como drafters de su propio modelo objetivo. El soporte de UBTree para Ling3 en SGLang todavía no se ha publicado, y el equipo promete más modelos borrador en el plazo de un mes.

Para los ingenieros que alojan sus propios modelos, la conclusión es la siguiente. La aceleración, sin pérdida de calidad en la respuesta, se logra con una pequeña capa adicional, y no hace falta modificar los pesos del modelo grande. Sin embargo, por ahora solo hay drafters listos para dos modelos de la familia Ling. Para cualquier otro modelo objetivo habrá que entrenar el drafter por cuenta propia, y conviene volver a comprobar con la carga de trabajo propia las cifras obtenidas en Qwen3.