ECHO: многошаговые прогнозы без пристроек и вдвое дешевле MTP

ECHO: многошаговое прогнозирование без вспомогательных модулей

Исследователи Baidu (ernie-research) предложили ECHO — метод встраивания многошагового прогнозирования прямо в скелет языковой модели, убирая необходимость в отдельных вспомогательных модулях. Подход вдвое дешевле стандартной многошаговой прогнозной парадигмы (MTP) и показывает заметный выигрыш на задачах рассуждений и генерации кода.

Традиционные подходы к многошаговому прогнозированию работают как расширение к основной модели: для каждого горизонта прогноза нужен отдельный модуль, каждый требует отдельного прохода через сеть, и обучение каждого из них — отдельная задача. ECHO меняет это в корне: вместо вспомогательных модулей финальный слой магистральной сети напрямую предсказывает все горизонты.

Три компонента ECHO

Метод строится на трёх ключевых идеях:

Финальный слой для всех горизонтов. Вместо того чтобы прикреплять модули для предсказания токенов на +1, +2, +3 шагов вперёд, ECHO переводит всю эту логику в финальный слой основной сети. Целевая функция напрямую воздействует на параметры, которые генерируют следующий токен. Результат: выигрыши растут с добавлением горизонтов, где вспомогательные модули давно насытились.

Динамическая выборка глубины (DDS). Шанс обучать на горизонте +1 выше, чем на +2, который выше, чем на +3. Это делает глубокое прогнозирование доступным по стоимости, сохраняя его выигрыши.

Экстраполяция за обученный горизонт. Модель оказывается способна прогнозировать и дальше того, на чём её обучали. На инференсе это позволяет ей стать собственным черновиком для спекулятивного декодирования.

Результаты на четырёх категориях задач

Наибольший выигрыш ECHO проявляется на первичных категориях: • Рассуждения (reasoning) — логические выводы и многошаговый анализ • Генерация кода — написание программного кода и алгоритмов

На вторичных категориях эффект заметен, но скромнее: • Вопросно-ответные (QA) — понимание и поиск ответов • Множественный выбор (multiple choice) — выбор из предложенных вариантов

После supervised finetuning выигрыши распространяются на все четыре категории. Метод показывает стойкость: преимущество сохраняется при удвоенном бюджете токенов и при повторном запуске предварительной подготовки.

Развёртывание в production

ECHO развёрнут в production Baidu на моделях масштаба от 200 млрд параметров и выше. На инференсе модель самостоятельно генерирует черновики, сохраняя высокие коэффициенты принятия даже при прогнозировании за пределами обученной глубины. Это полностью исключает необходимость во вспомогательных чёрновиках — сеть сразу готова к ускоренному спекулятивному декодированию без постфактум доработок.