DeLS-Spec aceleró la inferencia de LLM sin retrenar modelos

Los investigadores propusieron DeLS-Spec, un nuevo método para acelerar la generación de texto en modelos de lenguaje. El enfoque permite por primera vez lograr una aceleración significativa sin la necesidad de reentrenar los modelos mismos, lo que reduce sustancialmente las barreras para adoptar tales optimizaciones.

Cómo Funciona la Decodificación Especulativa

La decodificación especulativa es una técnica que acelera la inferencia de LLM generando múltiples tokens en paralelo en lugar de uno a la vez. Un pequeño modelo de proyecto predice tokens candidatos, y el modelo principal verifica su corrección en una sola pasada. Si la predicción coincidió, los tokens se aceptan; si no, el proceso se repite.

Métodos más avanzados, como DFlash, generan un bloque completo de tokens en una sola pasada, acelerando aún más el proceso. Pero esto crea un problema: los tokens dentro de un bloque generalmente se predicen de forma independiente, sin considerar las dependencias causales entre ellos.

El Problema con los Métodos Existentes

Otros métodos recientes, como Domino y DSpark, intentaron agregar causalidad al proyecto paralelo de bloques, teniendo en cuenta las dependencias entre tokens en un bloque. Pero esto requería entrenar el proyecto desde cero, lo que es costoso y requiere enormes recursos computacionales. Las organizaciones sin petabytes de datos y clústeres GPU masivos no pueden permitirse tal reentrenamiento.

Lo Nuevo en DeLS-Spec

DeLS-Spec resuelve este problema mediante la división de roles entre dos expertos. El método utiliza el modelo DFlash existente como un "experto de contexto largo" y agrega una cabeza local ligera como un "experto de contexto corto".

La ventaja clave: la cabeza local puede entrenarse completamente de forma independiente, sin entrenamiento conjunto con el modelo principal o el esqueleto de DFlash. Esto reduce drásticamente los costos computacionales. La cabeza local es una pequeña red que mira solo contextos recientes y aprende a predecir tokens teniendo en cuenta las dependencias causales.

• Método aplicado a modelos Qwen3
• El entrenamiento requiere costos mínimos, solo se entrena un adaptador ligero
• En la inferencia, se combinan logits de dos expertos
• La cabeza local es independiente de cualquier versión de punto de control específica de DFlash
• Mejora tanto en la velocidad de ejecución como en la longitud de los tokens aceptados en los puntos de referencia

Resultados de Prueba

En puntos de referencia Qwen3, DeLS-Spec mostró mejora tanto en la velocidad de ejecución (aceleración) como en la longitud promedio de los tokens aceptados (longitud de aceptación promedio) en comparación con DFlash. Esto es cierto para tres categorías de tareas: matemáticas, programación y sistemas de diálogo.

Por qué importa: las secuencias más largas de tokens aceptados significan que el proyector predice con más precisión y el sistema puede generar más texto en una sola iteración, lo que afecta directamente el rendimiento.

Por Qué Esto Importa para la Industria

Accelerar la inferencia de LLM no es solo una cuestión de velocidad, sino de economía. Es más barato entrenar un pequeño adaptador que reentrenar un proyector completo o un modelo base. Esto hace que los métodos de optimización sean más accesibles para las organizaciones que no tienen recursos para reentrenamiento a gran escala.

Conforme los LLM se vuelven cada vez más complejos e intensivos en energía, tales mejoras incrementales en la eficiencia de la inferencia se acumulan y se convierten en ganancias significativas en velocidad y costo. DeLS-Spec demuestra una tendencia importante: los mejores resultados a menudo se logran no a través del reentrenamiento de modelos grandes, sino a través de la combinación elegante de componentes existentes.

Lo Que Esto Significa

Este enfoque abre caminos para optimización de LLM más accesible en organizaciones de todos los tamaños, permitiendo incluso a pequeños equipos lograr aceleración sin presupuestos computacionales masivos.