Self-Reflective Program Search: Apple улучшила работу LLM с длинными контекстами

Apple ML Research опубликовала исследование, в котором изучает метод Self-Reflective Program Search для работы языковых моделей с длинными контекстами. Исследование показывает, что рекурсивное разложение контекста на управляемые подзапросы может значительно улучшить эффективность этого критически важного аспекта работы современных LLM.

Почему длинные контексты остаются проблемой

Расширенные контекстные окна стали стандартной фишкой современных языковых моделей: Claude, GPT, Gemini обещают обработку от 100K до 1M токенов. Однако на практике даже с такими огромными окнами модели часто не справляются с задачей. Они теряют информацию из начала или конца контекста, неправильно связывают детали, опускают важные факты при рассуждении.

Проблема известна исследователям и пользователям: модель может видеть весь текст, но не умеет надежно извлекать из него нужную информацию и использовать её при ответе. Это создает так называемый эффект «потерянной середины» (lost in the middle) и другие артефакты, которые особенно проявляются на действительно длинных контекстах.

Recursive Language Models: разложить сложное на простое

Apple предлагает решение, основанное на идее Recursive Language Models (RLMs): вместо обработки длинного контекста целиком, модель рекурсивно разбивает задачу на цепочку подзапросов. Это выглядит как автоматическая программа взаимодействия с контекстом — модель сама решает, какие подзапросы нужны, в каком порядке их задать, как собрать результаты в финальный ответ.

Ключевая идея Self-Reflective Program Search состоит в том, что существует много способов разложить одну сложную задачу на подзапросы, и результаты сильно различаются. Исследование Apple показывает: некоторые способы разложения работают намного лучше, чем другие. Алгоритм поиска самоотражается — анализирует результаты предыдущих подзапросов и корректирует стратегию на лету.

Почему рекурсивный поиск работает лучше

Такой подход решает несколько проблем одновременно:

• Снижает когнитивную нагрузку — модель работает с меньшими кусками информации вместо обработки 100K токенов за раз
• Сохраняет информацию — явное отслеживание подзапросов и результатов снижает потери информации, которые происходят при прямой обработке
• Позволяет пересмотреть решение — самоотражение помогает модели исправить ошибки и уточнить ответ после первого прохода
• Оптимизирует процесс вывода — модель не тратит ресурсы на ненужные вычисления, а направляет внимание на релевантные части контекста

Исследование Apple показывает, что этот подход особенно эффективен именно на длинных контекстах (100K+), где традиционные методы начинают сбивать.

Что это значит

Результаты Apple ML Research предлагают перспективное направление для будущих версий языковых моделей. Вместо гонки за все большими контекстными окнами разработчики могут инвестировать в более умные способы работы с длинными контекстами — и при этом получить лучшие результаты. Это может означать, что в 2026–2027 году мы увидим LLM, которые не только видят больше информации, но и действительно умеют её использовать. Для пользователей это значит более надежные ответы на задачи, требующие анализа большого объема информации: резюмирование длинных документов, поиск в архивах, анализ кода, работа с научными статьями.