ECHO: predicciones multipaso sin módulos extra y a mitad de precio que MTP

ECHO: predicción multipaso sin módulos auxiliares

Investigadores de Baidu (ernie-research) han propuesto ECHO, un método para integrar la predicción multipaso directamente en el esqueleto de un modelo de lenguaje, eliminando la necesidad de módulos auxiliares separados. El enfoque cuesta la mitad que el paradigma estándar de predicción multipaso (MTP) y muestra una mejora notable en tareas de razonamiento y generación de código.

Los enfoques tradicionales de predicción multipaso funcionan como una extensión añadida al modelo base: cada horizonte de predicción necesita su propio módulo, cada módulo requiere un paso independiente por la red, y entrenar cada uno es una tarea aparte. ECHO cambia esto de raíz: en lugar de módulos auxiliares, la capa final de la red principal predice directamente todos los horizontes.

Los tres componentes de ECHO

El método se apoya en tres ideas clave:

Una capa final para todos los horizontes. En lugar de añadir módulos para predecir tokens a +1, +2, +3 pasos vista, ECHO traslada toda esa lógica a la capa final de la red principal. La función objetivo actúa directamente sobre los parámetros que generan el siguiente token. El resultado: las ganancias siguen creciendo al añadir horizontes, justo donde los módulos auxiliares ya estaban saturados.

Muestreo dinámico de profundidad (DDS). La probabilidad de entrenar en el horizonte +1 es mayor que en +2, que a su vez es mayor que en +3. Esto hace que el entrenamiento en horizontes profundos sea asequible sin perder sus beneficios.

Extrapolación más allá del horizonte entrenado. El modelo resulta capaz de predecir más allá de aquello para lo que fue entrenado. En inferencia, esto le permite actuar como su propio modelo borrador para la decodificación especulativa.

Resultados en cuatro categorías de tareas

Las mayores ganancias de ECHO aparecen en sus categorías primarias: • Razonamiento — inferencia lógica y análisis multipaso • Generación de código — escritura de programas y algoritmos

En las categorías secundarias el efecto es apreciable, pero más modesto: • Preguntas y respuestas (QA) — comprensión y búsqueda de respuestas • Opción múltiple — elección entre opciones dadas

Tras el ajuste fino supervisado (finetuning), las ganancias se extienden a las cuatro categorías. El método demuestra ser robusto: la ventaja se mantiene con un presupuesto de tokens duplicado y al repetir el preentrenamiento.

Despliegue en producción

ECHO ya está desplegado en producción en Baidu, en modelos de 200.000 millones de parámetros en adelante. En inferencia, el modelo genera sus propios borradores por sí mismo, manteniendo altas tasas de aceptación incluso al predecir más allá de la profundidad entrenada. Esto elimina por completo la necesidad de borradores auxiliares: la red está lista de inmediato para la decodificación especulativa acelerada, sin ajustes posteriores.