Skill∞: агент сам улучшает навыки и свой метанавык, 60,7% на SkillsBench

Команда из Национального университета Сингапура предложила способ замкнуть петлю самоулучшения там, где это проще всего сделать на практике, — на уровне навыков языковых агентов. Система Skill∞ использует мета-агента: он следует мета-навыку, чтобы оптимизировать навыки под конкретные задачи, а затем применяет ту же процедуру к самому мета-навыку. На 83 задачах бенчмарка SkillsBench метод достиг 60,7% успешных прохождений. Навыки, составленные людьми, дают 56,4%, а ближайший автоматический конкурент SkillEvolver — 54,5%. Разрыв с людьми составляет 4,3 процентного пункта, с SkillEvolver — 6,2.

Почему навыки подходят для рекурсии

Рекурсивное самоулучшение (RSI), когда система улучшает и сам способ своего улучшения, давно считается одним из возможных путей к AGI. Авторы заходят с практической стороны. Языковые агенты всё чаще хранят процедурные знания в виде переиспользуемых навыков, то есть пакетов с инструкциями, которые агент подгружает под задачу. Если процедуру оптимизации тоже оформить как навык, её можно улучшать теми же средствами, что и любой другой навык.

Существующие оптимизаторы навыков так не работают. Они следуют процедуре, придуманной человеком. Даже методы, которые эволюционируют мета-навык, запирают его в фиксированном конвейере и заново обучают под каждую задачу. Skill∞ снимает оба ограничения: мета-навык не привязан к конвейеру и не переучивается с нуля.

Что делает мета-агент

Оптимизация в Skill∞ ведётся самим агентом, а не внешним скриптом. Мета-навык описывает четыре действия, и самоулучшение может переписать каждое из них:

• диагностика трасс выполнения: агент разбирает, где и почему навык подвёл на задачах;
• генерация кандидатов: на основе диагноза агент предлагает новые версии навыка;
• независимые ревью: агент запрашивает оценку кандидатов у отдельных рецензентов;
• распределение бюджета поиска: агент сам решает, куда направить ограниченные ресурсы.

Ещё одна особенность — развязка уровней. Мета-навык отделён от навыков задач. Его дорабатывают на нескольких задачах оптимизации навыков, а затем переиспользуют для разных доменов, не обучая заново. Навыки на обоих уровнях остаются стандартными пакетами и загружаются через штатный механизм обнаружения навыков, как при реальном развёртывании. Для внедрения не нужна отдельная инфраструктура.

Цифры SkillsBench

Сравнение проводилось на 83 задачах SkillsBench по доле пройденных задач:

• Skill∞ — 60,7%;
• навыки, составленные людьми, — 56,4%;
• SkillEvolver — 54,5%.

Главный вывод здесь не в абсолютной величине. Автоматически оптимизированные навыки обогнали составленные вручную, а процедура, которая их оптимизировала, сама была продуктом оптимизации. Авторы работы — Wangcheng Tao, Zhanglu Yan, Han Wu и Weng-Fai Wong. Препринт опубликован под номером arXiv 2610.35434 и попал в ежедневную подборку Hugging Face Papers.

Что взять командам, которые строят агентов

Если в вашем стеке уже есть навыки в стандартных пакетах, полезно присмотреться к двум идеям из работы. Первая: процедуру улучшения навыков тоже можно описывать как навык, а не зашивать в код пайплайна. Тогда её правят теми же инструментами и по тем же трассам. Вторая: независимое ревью кандидатов и управление бюджетом поиска лучше отдавать самому агенту, поскольку это шаги, которые мета-навык может перепроектировать под задачу.

Пока это результат на одном бенчмарке из 83 задач, и перенос на реальные рабочие нагрузки ещё предстоит проверить. Но направление понятное: библиотеки навыков перестают быть статичными папками с инструкциями и начинают сами подтягиваться к уровню, который раньше требовал ручной настройки. Автоматические оптимизаторы уже опережают человеческую разметку, а встроенное самоулучшение процедуры дало им ещё несколько процентных пунктов.