Copy-Paste Language Models добавляют голову копирования к LLM на 135M–1,7B параметров

Copy-Paste Language Models (CPLMs) предлагают простую вещь: оставить обычную LM-голову трансформера и добавить рядом легкую Copy-Paste голову, которая отдельно учится копировать токены из контекста. Авторы предобучили модели от 135M до 1,7B параметров и сообщают об улучшениях на всех масштабах и на разных бэкбонах. Обучение при этом становится эффективнее, а накладные расходы на обучение и инференс, по их словам, пренебрежимы.

Копирование как отдельная задача

Трансформеры принято считать хорошими копировщиками. Механизм внимания позволяет найти нужный токен во входе и перенести его в выход, поэтому имя из документа или идентификатор из кода модель обычно воспроизводит без проблем. Авторы работы оспаривают саму идею, что этого достаточно. Они показывают, что способность LLM копировать из контекста можно усилить, если смоделировать её явно.

Идея копирующих механизмов не нова: pointer-generator сети давно используют в задачах вроде суммаризации. Новизна здесь в том, что Copy-Paste голова встраивается в предобучение языковой модели общего назначения, а не в узкую задачу. Подробности реализации в опубликованной аннотации не раскрыты: как именно голова смешивает свой выход с распределением LM-головы, станет понятно только из полного текста статьи.

Градиентное узкое место LM-головы

Самое интересное в работе — объяснение, почему это помогает. Стандартная LM-голова проецирует скрытое состояние модели в логиты по всему словарю. Размерность скрытого состояния намного меньше размера словаря, поэтому через эту проекцию проходит весь обучающий сигнал, и она ограничивает то, как градиент течет обратно в сеть. Это и называют gradient bottleneck.

По утверждению авторов, Copy-Paste голова создает альтернативный путь для градиента и частично смягчает это узкое место. Слово «частично» здесь важно: речь не о полном устранении проблемы, а об объяснении наблюдаемого прироста. Если механизм действительно работает так, выигрыш связан не только с удобством копирования на инференсе, но и с тем, что модель эффективнее учится на этапе предобучения.

Что заявлено в экспериментах

В аннотации приведены качественные результаты без конкретных значений метрик:

• Диапазон моделей: от 135M до 1,7B параметров, предобучение с нуля.
• Улучшения заявлены на всех масштабах и на всех проверенных бэкбонах.
• Растет эффективность обучения и качество на downstream-задачах.
• Появляются новые рабочие точки (operating points) для длинного контекста и retrieval-сценариев.
• Накладные расходы на обучение и инференс названы пренебрежимыми.

Практические выводы

Для команд, которые предобучают небольшие модели, работа дает недорогой кандидат для абляций. Одна дополнительная голова не требует перестройки пайплайна, а заявленная цена по вычислениям близка к нулю. Для RAG и задач с длинным контекстом, где модель должна точно переносить фрагменты из входа, явное моделирование копирования выглядит логичной точкой улучшения.

Ограничения тоже понятны. Верхняя граница экспериментов — 1,7B параметров, поэтому неизвестно, сохранится ли эффект на моделях в десятки и сотни миллиардов. Результаты получены на предобучении, а не на дообучении, так что применить метод к уже готовой модели без дополнительного обучения вряд ли получится. Наконец, без конкретных чисел из полного текста трудно оценить размер прироста: «улучшения на всех масштабах» может означать как заметный скачок, так и скромный, но стабильный плюс.

Перед внедрением стоит дождаться кода и таблиц с результатами. Если заявленное подтвердится, получится редкий случай, когда архитектурная правка почти ничего не стоит и при этом чинит конкретное слабое место обучения.