Исследователи доказали: раздувать AGENTS.md вредно, у файла есть предел

В препринте arXiv 2610.11007 контекстный файл агента, будь то AGENTS.md или его аналог, описан как задача оптимизации. В начале каждой сессии LLM-агент загружает этот файл целиком, и каждый его токен оплачивается заново в каждом следующем раунде. Авторы доказывают верхнюю границу оптимального размера файла, причём она не зависит от числа доступных кандидатов-инструкций. Сколько бы правил ни накопила команда, до какого-то размера они помогают, а после него файл только вредит.

На практике файлы обычно растут дописыванием. Агент ошибся, кто-то добавил строку. Через полгода в файле сотни строк, и никто не знает, какие из них работают.

Модель: файл как полка с ограниченным вниманием

Авторы формулируют curation как capacitated assortment problem, то есть выбор ассортимента при ограниченной ёмкости. Инструкции занимают токены, а внимание модели конечно. Добавление новой инструкции никогда не повышает вероятность выполнения остальных: она может её только снизить. Каждая оставленная в файле инструкция имеет ещё и стоимость сопровождения за сессию.

Из этих допущений получаются два результата:

• У оптимального файла есть потолок размера, не зависящий от числа кандидатов.
• Стратегия «добавить всё, что полезно по отдельности» может по чистой выгоде проигрывать оптимальному подмножеству сколь угодно сильно.
• Токенный бюджет ограничивает потери, даже если цену токена оценили неверно в меньшую сторону.

Последний пункт практичен. Точную цену токена в агентском цикле посчитать трудно, но жёсткий лимит на размер файла страхует от грубой ошибки.

Цензурированная обратная связь

Вторая часть работы касается обучения на прошлых сессиях, и здесь возникает перекос в данных. Пользу и вред загруженных инструкций можно наблюдать. Отсутствующая инструкция оставляет след только тогда, когда её нехватка привела к ошибке. Если правила нет и всё прошло гладко, об этом правиле ничего не узнать. Это и есть цензурирование.

Из него следует неудобный вывод. Если удалять инструкции, которые агент игнорирует, неизбежно будут удаляться и полезные. Отсутствие заметного эффекта в логах не доказывает бесполезность правила.

Авторы также определяют, сколько свидетельств нужно собрать до добавления новой инструкции. Ещё они оценивают регрет для случая, когда люди-ревьюеры успевают проверить лишь ограниченное число правок за период. Это описывает реальный процесс: автоматический куратор предлагает изменения, а человек физически не может просмотреть их все.

Что показали эксперименты

Эмпирическая часть в аннотации описана коротко. Нерелевантные правила, взятые из реальных контекстных файлов, снижают выполнение инструкций языковой моделью. Это согласуется с теорией, но конкретных цифр в аннотации нет. Какие модели тестировали и насколько просела точность, станет понятно только из полного текста. Результаты пока предварительные: это первая версия препринта без рецензирования.

Как применять уже сейчас

Для команд, которые ведут AGENTS.md, CLAUDE.md или похожие файлы, из работы вытекает несколько правил:

• Установите жёсткий лимит размера файла и обсуждайте любое превышение явно.
• Новое правило добавляйте после нескольких повторных сбоев, а не после первого.
• Не удаляйте правило только потому, что агент «не реагирует»: сначала проверьте, не предотвращает ли оно тихие ошибки.
• Периодически собирайте файл заново из подмножества лучших правил и сравнивайте с текущим на реальных задачах.
• Автоматические правки пропускайте через ревью небольшими пачками, учитывая ограниченное внимание проверяющих.

Это теоретическая работа, и её выводы держатся на допущениях модели, например на том, что новая инструкция не повышает выполнение остальных. Но для привычки бесконечно дописывать файл агента она даёт формальный аргумент против.