DeLS-Spec acelera la inferencia de LLM sin reentrenar los modelos

Investigadores han propuesto DeLS-Spec, un nuevo enfoque para acelerar la generación de texto en los modelos de lenguaje. Es el primer método que logra una aceleración significativa sin necesidad de reentrenar los propios modelos, lo que reduce de forma sustancial las barreras para aplicar este tipo de optimizaciones.

Cómo funciona el speculative decoding

El speculative decoding es una técnica que acelera la inferencia de LLM al generar varios tokens en paralelo en lugar de uno por uno. Un modelo pequeño, el drafter, predice tokens candidatos y el modelo principal comprueba su corrección en una sola pasada. Si la predicción coincide, los tokens se aceptan; si no, el proceso se repite.

Métodos más avanzados, como DFlash, generan un bloque entero de tokens en una sola pasada y aceleran aún más el proceso. Pero esto plantea un problema: los tokens dentro del bloque suelen predecirse de forma independiente, sin tener en cuenta la dependencia causal entre ellos.

El problema de los métodos existentes

Otros métodos recientes, como Domino y DSpark, intentaron añadir causalidad al block-parallel drafting, es decir, tener en cuenta las dependencias entre los tokens de un bloque. Pero para ello había que entrenar el drafter completamente desde cero, algo caro que exige enormes recursos de cómputo. Las organizaciones sin petabytes de datos ni clústeres de GPU a gran escala no pueden permitirse ese reentrenamiento.

Qué aporta DeLS-Spec

DeLS-Spec resuelve el problema repartiendo los roles entre dos expertos. El método usa un modelo DFlash existente como «experto en contexto largo» y añade un cabezal local ligero como «experto en contexto corto».

La ventaja clave: el cabezal local puede entrenarse de forma totalmente independiente, sin entrenamiento conjunto con el modelo principal ni con el backbone de DFlash. Esto reduce drásticamente el coste computacional. El cabezal local es una red pequeña que solo mira el contexto reciente y aprende a predecir tokens teniendo en cuenta la dependencia causal.

• El método se aplicó a modelos Qwen3
• El entrenamiento requiere un coste mínimo: solo se entrena el adaptador ligero
• En la inferencia se combinan los logits de los dos expertos
• El cabezal local no depende de una versión concreta del checkpoint de DFlash
• Mejoran tanto la velocidad como la longitud de los tokens aceptados en los benchmarks

Resultados de las pruebas

En los benchmarks de Qwen3, DeLS-Spec mejoró tanto la velocidad de ejecución (speedup) como la longitud media de los tokens aceptados (average acceptance length) frente a DFlash. Esto se cumple en tres categorías de tareas: matemáticas, programación y sistemas de diálogo.

Por qué importa: las secuencias más largas de tokens aceptados implican que el drafter predice con más precisión y que el sistema puede generar más texto por iteración, lo que influye directamente en el rendimiento (throughput).

Por qué importa para la industria

Acelerar la inferencia de LLM no es solo cuestión de velocidad, sino también de economía. Entrenar un adaptador pequeño sale más barato que reentrenar todo el drafter o el modelo principal. Eso hace que los métodos de optimización sean más accesibles para organizaciones sin recursos para un reentrenamiento a gran escala.

A medida que los LLM se vuelven más complejos y consumen más energía, las mejoras incrementales en eficiencia de inferencia se acumulan y se traducen en ganancias notables de velocidad y coste. DeLS-Spec ilustra una tendencia importante: los mejores resultados a menudo no llegan reentrenando grandes modelos, sino combinando con elegancia componentes ya existentes.

Qué significa

Este enfoque abre el camino a una optimización de LLM más accesible en organizaciones de todos los tamaños y permite que incluso los equipos pequeños consigan aceleraciones sin presupuestos de cómputo enormes.