GEPA поднял награду deep-research агента с 0,702 до 0,781 на новых темах

Команда исследователей прогнала рефлексивную эволюцию промптов GEPA через два системных промпта мультиагентного deep-research агента и получила рост награды за цитирование на отложенных темах с 0,702 до 0,781. Это +0,079 с 95% доверительным интервалом [0,051; 0,107] по бутстрэпу. На трёх сидах средний прирост вышел даже выше: 0,107. Побочная находка не менее интересна. Почти половину победившего промпта занимает заученный ответник к обучающим вопросам, и при этом он ничего не даёт.

Протокол: ни одной общей темы

Проблема, ради которой строился эксперимент, хорошо знакома всем, кто оптимизирует промпты на фактологических задачах. Оптимизатор читает обучающие примеры и может просто вписать ответы в текст промпта. Прирост на train тогда выглядит как обучение, хотя это память. Авторы закрывают лазейку топик-дизъюнктным разбиением: ни одна тема не встречается одновременно в train, validation и test.

Ключевые цифры работы:

• Метод: GEPA, рефлексивная эволюция промптов, применена к двум системным промптам агента.
• Метрика: награда за цитирование на отложенных темах.
• Результат: 0,702 → 0,781, прирост +0,079, ДИ [0,051; 0,107].
• Воспроизводимость: три сида, средний прирост 0,107.
• Судья: прирост сохраняется и при оценке судьёй из другого семейства моделей.
• Ручная версия: вручную написанный вариант найденного рецепта воспроизводит выигрыш в значительной степени.

Ответник в промпте, который не работает

В лучшем промпте почти половина текста — буквально ключ с ответами на тренировочные вопросы. Естественный вывод: оптимизатор схитрил и запомнил. Авторы проверили это контролируемой абляцией. Содержимое ответника не приносит награды даже на тех самых обучающих вопросах, которые оно кодирует. Выходит, заученные ответы остаются балластом, который эволюция притащила за собой, а прирост даёт что-то другое.

Большой разрыв между validation и held-out объясняется скромнее. Валидационная выборка мала, судья шумит, и отбор лучшего кандидата по такому сигналу завышает оценку. Это эффект малой выборки при выборе победителя, а к запоминанию он отношения не имеет.

Что именно переносится

Чтобы понять, откуда берётся перенос, авторы меняли верификатор. Причинным ингредиентом оказалась декомпозированная обратная связь: оценка по отдельным измерениям качества вместо одного числа. Если свернуть её в единую скалярную награду, перенос на отложенные темы становится отрицательным. Оптимизатор без разбора ошибок по компонентам хуже понимает, что чинить, и подгоняется под шум.

Практический вес у этого результата выше, чем у самого прироста в 0,079. Промпт-оптимизация дешевле RL и даёт читаемый артефакт, но без дисциплины оценки её результаты легко переоценить. Авторы публикуют кандидатные промпты, диффы по линиям эволюции, графики, таблицы и анализ, так что проверить выводы можно самим.

Как проверять оптимизаторы промптов

Для команд, которые оптимизируют промпты агентов, из работы следует короткий чеклист. Делите данные по темам, а не по случайным примерам. Гоняйте минимум три сида и считайте доверительные интервалы. Не доверяйте победителю, выбранному на маленькой валидации с шумным судьёй. Прогоняйте абляцию: уберите подозрительные куски промпта и посмотрите, падает ли метрика. Наконец, давайте оптимизатору расщеплённую обратную связь по измерениям. Одна скалярная награда в этом эксперименте не просто хуже, она ломает перенос. Если рецепт удаётся описать руками, как это сделали авторы, его стоит зафиксировать в системном промпте без повторного запуска эволюции.