Google научила LLM «спать»: SLEEP закрепляет знания в весах, до 10 млн токенов

Google Research опубликовала фреймворк SLEEP, новый подход к непрерывному обучению языковых моделей. В нём приём новых данных и их закрепление разведены по времени, как у человека бодрствование и сон. Во время «сна» знания из временной памяти переносятся в веса дополнительных блоков MoE. В экспериментах команда показала работу с последовательностями до 10 млн токенов на BABILong, почти нулевое падение качества при последовательном обучении переводу и 79,2% на AIME 2024 при 69% на AIME 2025.

Две дыры в памяти модели

У непрерывного обучения две давние проблемы. Первая называется катастрофическим забыванием: модель усваивает новую информацию и теряет навыки, которые освоила раньше. Градиентные обновления под новую задачу перезаписывают веса, важные для старых.

Вторая проблема в том, что знания из контекстного окна сами по себе не превращаются в постоянную память. Пока информация лежит в промпте, модель ею пользуется. Закончился контекст, и всё исчезло. Длинный контекст при этом дорог: его приходится заново прогонять и хранить в рабочей памяти на каждый запрос. Если знания записать в параметры, они перестают занимать контекст и доступны без повторной подачи.

Бодрствование, сон и «сновидения»

SLEEP чередует два режима.

• Бодрствование. Модель работает с входными данными и сохраняет информацию в краткосрочной памяти.
• Сон. Приём новых данных приостанавливается. Модель активирует дополнительные блоки памяти MoE и переносит знания в их веса, чтобы меньше задевать уже закреплённую информацию. После переноса временная память освобождается.

Отдельный этап называется «сновидениями». Случайные сочетания экспертов генерируют тренировочные примеры, система отбирает самые полезные и использует их для дальнейшего обучения. Модель, по сути, готовит себе материал для закрепления сама, без внешнего датасета на каждый цикл.

Важная оговорка из описания: «сон» здесь представляет собой управляемый цикл дообучения по правилам, которые задают исследователи. Архитектура и код модели остаются фиксированными. Это не самоэволюционирующий организм, а регламентированная процедура поверх обычной MoE-модели.

Что показали эксперименты

• BABILong. Работа с информацией из последовательностей до 10 млн токенов за счёт закрепления её в параметрах, а не удержания в контексте.
• Последовательное обучение переводу. Почти нулевое падение результатов на ранее изученных языках после освоения новых.
• AIME 2024. Точность 79,2%.
• AIME 2025. Точность 69%.

Самое показательное здесь, пожалуй, перевод. Языки учатся по очереди, и это классический стенд для проверки забывания: обычно именно на нём качество на первых языках проседает заметнее всего. Результаты по математике показывают, что закрепление новых знаний не разрушает способность к рассуждению. Заметим также, что на AIME 2025 результат ниже, чем на 2024 году. Разброс между двумя годами тот же, что мы видим у многих моделей, и по одной публикации выводы о причинах делать рано.

Где это упрётся в практику

Для инженеров главный вопрос в стоимости. Перенос знаний в веса означает дополнительные циклы дообучения, то есть вычисления, которые надо планировать: когда модель «засыпает», она не обслуживает запросы. Придётся решать, как часто спать, на каком объёме накопленной памяти и сколько блоков MoE выделить под хранение. Эти параметры задаются правилами исследователей, и подбирать их под конкретную нагрузку придётся самим.

Выигрыш потенциально лежит в экономике контекста. Если корпоративные знания, длинная переписка или обновляемая база документов закрепляются в весах, то не нужно возить миллионы токенов в каждом запросе и платить за их повторную обработку. Для агентов с долгой историей работы это прямая экономия на памяти и задержке.

Остаётся и риск, который в описании не снимается: запись в веса необратима и труднее поддаётся аудиту, чем документ в контексте или во внешней базе. Для регулируемых областей придётся отдельно решать, как удалять и проверять закреплённые знания. Пока SLEEP стоит воспринимать как сильный исследовательский результат и хороший кандидат для тестов в проектах с непрерывно обновляемыми данными. Это ещё не готовый продуктовый компонент.