ECHO учит LLM предсказывать токены вперёд без пристроек и вдвое дешевле MTP

Команда авторов ECHO предлагает способ обучать языковую модель предсказывать несколько токенов вперёд без отдельных голов и модулей. Каждый горизонт предсказывает финальный слой самой модели. Накладные расходы на обучение при этом вдвое ниже, чем у multi-token prediction, который обучают на каждой глубине. Прирост по точности на downstream-задачах концентрируется в рассуждениях и коде. На инференсе та же модель работает собственным драфтером для спекулятивного декодинга.

Где ломается классический MTP

Методы multi-token prediction по конструкции вспомогательные. Мультигоризонтный лосс в основном обучает модули, подключённые к backbone. Каждый новый горизонт означает ещё один модуль и ещё один проход. Чем глубже хочется заглянуть в будущее, тем дороже обходится претрейн. Авторы отмечают и второй эффект: вспомогательные модули насыщаются, и дополнительная глубина перестаёт превращаться в качество.

У такого подхода есть и обратная сторона на инференсе. Драфтеры, обученные постфактум, теряют согласованность с целевой моделью на открытой генерации с высокой энтропией, то есть как раз там, где ускорение нужнее всего.

Как устроен ECHO

Идея в том, чтобы сделать предсказание будущего частью авторегрессионной задачи, а не приставкой к ней. Финальный слой backbone предсказывает все горизонты. Супервизия попадает в те самые параметры, которые генерируют следующий токен.

Дорогую глубину решает Dynamic Depth Sampling (DDS). На каждом шаге обучения глубина выбирается случайно, причём вероятности убывают по мере роста глубины. Мелкие горизонты тренируются часто, глубокие реже, но модель всё равно с ними знакомится. Именно DDS даёт экономию в половину накладных расходов MTP, обучаемого на каждой глубине.

Что заявляют авторы

В аннотации нет таблиц с абсолютными метриками, поэтому ниже только то, что в ней сказано:

• Стоимость обучения: вдвое ниже накладных расходов MTP, который тренируют на каждой глубине.
• Претрейн: добавленная глубина конвертируется в точность на downstream-задачах там, где вспомогательные модули насыщаются. Эффект сосредоточен на рассуждениях и коде.
• Инференс: предобученная модель сама себе драфтер и может предсказывать глубже, чем обучалась.
• Согласованность драфта и цели: сохраняется на открытой генерации с высокой энтропией, где пост-хок драфтеры её теряют.
• Устойчивость: преимущество сохраняется при удвоенном токен-бюджете, повторном прогоне претрейна и после supervised finetuning.

Последний пункт важен: эффекты в претрейне часто растворяются после дообучения или на другом сиде. Авторы заявляют, что здесь этого не произошло. Проверить это можно только по полному тексту статьи.

Что проверить на практике

Для команд, которые претрейнят собственные модели, ECHO интересен как способ получить плотный сигнал от будущих токенов без роста числа модулей. Дополнительный драфтер для спекулятивного декодинга в этой схеме не нужен: он уже заложен в веса. Это упрощает деплой, потому что не требуется отдельно обучать, версионировать и синхронизировать вторую модель.

Прежде чем переносить подход в свой пайплайн, нужно уточнить несколько вещей. Какие размеры моделей и какие токен-бюджеты использовались. Как выглядит реальное ускорение в токенах в секунду, а не только качество. Какова доля принятых черновых токенов на открытых диалогах. Как выбрано распределение вероятностей в DDS и насколько оно чувствительно к настройке. Ничего из этого в аннотации нет.

Если результаты подтвердятся на масштабе, эффект проявится в двух местах сразу: в качестве кода и рассуждений на этапе претрейна и в стоимости инференса на длинной свободной генерации. Пока это заявка исследовательской группы без независимой воспроизводимости, и относиться к ней стоит как к сильной гипотезе, которую предстоит проверить на своих данных.