Исследователи UCAS научили слабые LLM-агенты понимать навыки: до +14,1 балла без дообучения

Агентные обвязки, которые накапливают опыт из прошлых запусков и переписывают собственные «навыки», считаются дешёвым способом улучшать LLM-агентов без дообучения весов. Исследователи из Университета Китайской академии наук (Zhihao Yang, Haojin Wang, Juncheng Wu и соавторы, финальный автор Xianpei Han) проверили, всем ли моделям такой подход одинаково полезен. Оказалось, что нет. На семи моделях и трёх бенчмарках нашлись 103 пары «задача — навык», где один и тот же навык поднимает GPT-5.6-luna на 31,1 пункта и опускает Gemma-4-E4B на 8,8.

Навык, который слабая модель не может выполнить

Интуитивное объяснение: слабой модели просто не хватает знаний. Данные говорят иначе. В 86% неудачных запусков слабой модели требование, которое она нарушила, уже явно написано в навыке. Модель его видела и не смогла применить. Инструкция написана на уровне, который исполнитель не способен реализовать: слишком длинная цепочка действий, неявные предположения, сложная работа с инструментами.

Это меняет постановку задачи. Если навык, выращенный сильной моделью, переносить на слабую как есть, он может ухудшить результат. А если слабая модель сама пишет себе навык по своим траекториям, она склонна закреплять формулировки, которые не может исполнить. Нужна адаптация навыка под исполнителя: тот же смысл, но в форме, которую модель способна выполнить.

Мета-навык как инструкция по переписыванию

Авторы разобрали сбои слабых исполнителей по четырём категориям:

• выполнение инструментов (tool execution);
• управление контекстом (context management);
• следование инструкциям (instruction following);
• верификация результата (verification).

Из этих диагнозов они собрали фиксированный мета-навык. Это набор принципов, по которым навык переписывается так, чтобы его было проще исполнить. В первом эксперименте переписчиком выступил Kimi-K3. Он адаптировал навыки без доступа к трассам выполнения, только по мета-навыку. Три слабых исполнителя выиграли у исходных навыков от 5,1 до 14,1 балла.

Пять раундов самоэволюции

Дальше мета-навык встроили в сам цикл самоэволюции. Каждая модель в течение пяти раундов правит собственный навык по траекториям запусков и обратной связи верификатора. Протестировали семь исполнителей, от Gemma-4-E4B до Kimi-K2.5. Итоговые оценки с мета-навыком оказались на 2,0–5,1 балла выше, чем в том же цикле без него. Улучшение стабильно по всему диапазону моделей, а не только на слабом конце.

Ключевые цифры работы:

• 7 моделей-исполнителей и 3 бенчмарка;
• 103 пары «задача — навык» с расходящимся эффектом;
• +31,1 пункта для GPT-5.6-luna и −8,8 для Gemma-4-E4B на этих парах;
• 86% провалов слабой модели при условии, что требование уже записано в навыке;
• 4 категории сбоев, из которых собран мета-навык;
• +5,1–14,1 балла у трёх слабых исполнителей после переписывания Kimi-K3;
• 5 раундов самоэволюции и прирост +2,0–5,1 балла от мета-навыка.

Что менять в проектах с агентами

Практический вывод для тех, кто строит агентные системы: библиотеку навыков нельзя считать универсальной. Если один набор инструкций раздаётся моделям разного класса, например дорогой модели для сложных задач и компактной локальной для рутины, для каждого исполнителя нужна своя версия. Переписывание можно поручить сильной внешней модели по фиксированному набору правил, это дешевле, чем гонять полный цикл самоэволюции на слабой.

Второе: при оценке самообучающихся обвязок стоит смотреть не только на средний прирост, но и на пары, где навык вредит. Именно они показывают, что инструкция вышла за пределы возможностей исполнителя. Код и страница проекта опубликованы авторами, так что мета-навык можно проверить на своих задачах и своих моделях.