Librarian Agents: LLM заранее собирают рабочее пространство и дают +33 п.п. на BrowseComp-Plus

Исследователи представили Librarian Agents: фреймворк, в котором LLM-агент заранее перестраивает неструктурированный набор документов в иерархическую файловую систему, а второй агент использует её для ответов. На BrowseComp-Plus метод превосходит сильнейшие базовые решения на основе retrieval и предвычисления на 33 процентных пункта. На бенчмарке BRIGHT, на доменах, которых модель не видела при обучении, средний прирост точности составил 31 пункт без дообучения под задачу.

Исходная проблема знакома каждому, кто строил агентов поверх больших корпусов. Классический retrieval реактивен: запрос пришёл, система вытащила фрагменты, модель попыталась из них собрать ответ. Когда для ответа нужно связать факты из нескольких документов, именно этот шаг становится узким местом. Предвычисленные структуры вроде графов знаний помогают лишь отчасти: они строятся по жёстким эвристикам, которые не знают, какие вопросы зададут потом.

Асимметрия, на которой построена идея

Авторы отталкиваются от наблюдения про современные агентные оболочки, например Claude Code. Такие агенты хорошо ориентируются в уже существующей файловой системе: открывают файлы, идут по ссылкам, собирают контекст под текущую задачу. Но почти никто не учит их обратному, то есть создавать рабочее пространство, которым потом будут пользоваться.

Librarian Agents закрывает этот пробел. Агент-строитель получает сырые документы и выдаёт иерархию синтетических файлов со ссылками между ними. Это рабочее пространство затем достаётся отвечающему агенту. Построение формулируется как марковский процесс принятия решений, а политика строителя оптимизируется обучением с подкреплением. Награда напрямую завязана на итоговую точность ответов downstream-агента, а не на промежуточные метрики вроде качества поиска.

Что показали эксперименты

По данным аннотации, результаты выглядят так:

• BrowseComp-Plus: +33 процентных пункта к сильнейшим retrieval- и precompute-базовым решениям.
• BRIGHT: средний прирост точности 31 пункт в zero-shot режиме на неизвестных доменах.
• Стоимость построения рабочего пространства амортизируется при повторных запросах к одному корпусу.
• Обучаемая сущность: политика строителя, а не отвечающий агент.

Важна именно переносимость. Если бы строитель просто заучил структуру конкретных датасетов, на BRIGHT он бы провалился. Двузначный прирост на новых доменах говорит, что RL-обучение выработало общие приёмы организации знаний: как группировать, что выносить в обзорные файлы, где ставить перекрёстные ссылки.

У работы есть и неизвестные. В аннотации нет размеров моделей, абсолютной стоимости построения и данных о том, как рабочее пространство ведёт себя при частых обновлениях корпуса. Это стоит искать в полном тексте статьи.

Что попробовать командам, которые строят агентов

Практический вывод касается архитектуры. Если корпус относительно стабилен, а запросы к нему повторяются (внутренняя база знаний, документация продукта, архив исследований), предварительная подготовка пространства выгоднее, чем каждый раз искать с нуля. Затраты на построение делятся на число запросов, и чем их больше, тем лучше экономика.

Второе: оценивайте подготовку корпуса по конечной точности ответов. Именно такая награда использована в статье, и она отсекает красивые, но бесполезные структуры. Третье: проверяйте на отложенных доменах, иначе легко принять подгонку под свои данные за качество. Для быстро меняющихся корпусов сначала посчитайте цену перестройки, потому что в этом сценарии выигрыш менее очевиден.