Можно ли учить языковую модель прямо во время чтения? Проверили на всех архитектурах

Команда исследователей задалась простым вопросом: что если языковая модель будет по-настоящему учиться на длинном тексте прямо во время чтения — делая крошечные шаги градиентного спуска на каждом новом куске текста, а не только прогоняя его через окно внимания? Идея не новая: ещё в 2019 году её проверяли на архитектуре Transformer-XL, а в 2024-м — на маленьких моделях 150 млн – 1 млрд параметров. Но с тех пор индустрия ушла далеко вперёд: появились instruct-модели на 2–30 млрд параметров, гибридные архитектуры с линейным вниманием и диффузионные языковые модели. Для них эта техника вообще никогда не замерялась.

Чтобы исправить это, авторы взяли минимальный рецепт: разморозили только выходные проекции MLP-слоёв в последней четверти блоков модели, окно внимания оставили на 2 тысячи токенов, обучения с нуля не проводили — просто после каждого куска текста в 128 токенов делали один шаг SGD по ошибке предсказания следующего токена. Никакого дообучения, никакой магии — чистая проверка того, что даёт градиентный шаг сверх того, что модель и так умеет делать с помощью внимания.

Обычным трансформерам это реально помогает

На моделях с классическим softmax-вниманием — Qwen3-1.7B, Qwen3-4B и Gemma-4-E4B — эффект оказался стабильным и заметным: ошибка предсказания текста снижалась на 5–8% абсолютно на каждой из 98 проверенных книг и на всех 100 судебных решений из тестового набора. Причём это работало лучше, чем если бы модели просто дали весь документ целиком (32 тысячи токенов) без всякой подстройки весов — там, где обычное внимание ничего не добавляло, градиентный шаг убирал ещё 0.17 ната ошибки. Получается, внимание «копирует» уже виденный текст, а градиентный шаг меняет саму манеру модели — подстраивает её словарь и стиль под документ.

Гибридным моделям это почти не нужно

Совсем другая картина у моделей с архитектурой Gated-DeltaNet — гибридов, где три из четырёх блоков используют линейное внимание вместо классического (Qwen3.5-4B, Qwen3.8-27B). У них выигрыш от градиентной подстройки составил меньше 1%, а при неудачно подобранной скорости обучения модель вообще начинала хуже предсказывать текст. Причина в том, что линейное внимание в таких блоках и так устроено как «быстрая память»: оно по ходу чтения обновляет внутреннее состояние по правилу delta-rule, то есть само непрерывно подстраивается под документ. Добавочный градиентный шаг просто дублирует то, что архитектура уже делает бесплатно.

Диффузионным моделям помогает даже сильнее — но с оговорками

На диффузионных языковых моделях (Nemotron-Diffusion-8B и DiffusionGemma-26B) тот же трюк сработал даже заметнее — выигрыш 8% и 17–20% соответственно. Но для этого пришлось снизить скорость обучения и ограничивать величину каждого обновления весов: на обычной для трансформеров скорости модель быстро расходилась — ошибка подскакивала с 9.3 до 41.6.

Главное ограничение: это не память, это стиль

На восьми серьёзных тестах понимания длинных документов (RULER, HotpotQA, MuSiQue, SCOTUS и других) подстройка весов на полном документе не вернула ни одного балла точности, потерянного при обрезке контекста. То есть модель действительно предсказывает текст точнее, но не запоминает конкретные факты так, чтобы потом их извлечь. Если напрямую «записывать» факт через обучение на следующем токене, модель запоминает формат фразы, а не сам факт: при обычном вопросе распознаётся только 30% против 80% при подаче факта прямо в контекст, и вдобавок страдает математика — минус 36–38 баллов на GSM8K.

Работает другой способ: вместо прямой записи факта исследователи дистиллировали собственные выводы модели (полученные, например, через цепочку уточняющих вопросов) в компактный LoRA-адаптер. Такая запись «поведения» вместо «факта» доходит до качества работы с полным контекстом (0.83–0.88 против 0.84–0.88) и не портит математические способности модели.

Вывод для инженеров, которые думают об обучении на лету: эта техника имеет смысл только для классических трансформеров с softmax-вниманием и для диффузионных моделей, и то лишь как способ подстроить стиль и словарь модели под длинный текст, а не как замена полноценному поиску фактов по документу. Для гибридных архитектур с линейным вниманием она избыточна, а для записи конкретных фактов правильнее использовать дистилляцию выводов, а не прямое обучение на тексте.