Обзор из 12 авторов описал, как доверять ИИ, который сам себя улучшает

Двенадцать исследователей опубликовали обзор «Trustworthy Recursive Self-Improvement in the Era of Large Models» (arXiv 2610.35193, первый автор Jiayue Pu, в списке также Jun Xu и Xiao Zhang). Работа предлагает операционное определение рекурсивного самоулучшения (RSI), процессную рамку из четырёх стадий и набор требований, при которых такое улучшение можно считать заслуживающим доверия. На Hugging Face Daily Papers статью уже отметили девять апвоутов.

Когда ИИ правит собственные правила обновления

Системы на больших моделях давно накапливают опыт и обратную связь. Они вносят постоянные изменения в модели, промпты, память, инструменты и воркфлоу. RSI в трактовке авторов идёт дальше: самоизменение затрагивает индуктивные смещения и механизмы, которые управляют будущими обновлениями. Эти механизмы тоже можно пересматривать и переиспользовать от цикла к циклу.

Здесь и возникает главная трудность. Если система переписывает не только своё поведение, но и способ, которым оценивает и внедряет улучшения, то результаты прежних проверок могут перестать относиться к новой версии. Человеческий надзор тоже теряет опору: наблюдатель следит за процессом, который уже изменился.

Где прирост оказывается иллюзией

Обзор перечисляет конкретные риски самомодификации:

• заявленный прирост может отражать ошибки в самой оценке, а не реальный рост способностей;
• ранее приобретённые навыки могут деградировать;
• соблюдение поведенческих ограничений может ослабевать;
• скомпрометированные артефакты и чувствительная информация способны сохраняться в системах-наследниках;
• изменения механизмов улучшения могут сделать недействительными прошлые результаты верификации.

Последний пункт особенно неприятен для практики. Проверка безопасности, пройденная версией N, ничего не гарантирует для версии N+1, если между ними изменился способ порождения обновлений.

Четыре темы, три оптики и четыре стадии

Авторы группируют требования к надёжному RSI в четыре связанные темы:

• подлинное и устойчивое улучшение;
• поведенческие ограничения, alignment и справедливость (fairness);
• безопасность и приватность системы;
• прозрачность и управляемость.

Каждую тему они рассматривают с трёх сторон:

• Improvement Validity: действительно ли улучшение произошло и держится ли оно со временем;
• Constraint Preservation: сохраняются ли заданные ограничения после обновлений;
• Effective Oversight: остаётся ли человеческий контроль содержательным.

Сам процесс разложен на четыре стадии:

• S1: диагностика улучшения;
• S2: генерация предложений;
• S3: оценка предложений;
• S4: внедрение обновления.

Поверх них идёт рекурсивный слой RI, где те же стадии применяются к самим механизмам улучшения. Для каждого уровня авторы разбирают риски, защитные меры и свидетельства оценки: для отдельных обновлений, для эффектов, наследуемых преемниками, и для ревизий механизмов. При этом они разделяют прямые результаты по RSI и данные, полученные на смежных системах. Для индустрии такое разделение полезно: часть выводов пока опирается на аналогии, и обзор не выдаёт их за доказанное.

Независимые и долгие проверки вместо одного прогона

Завершает работу разбор сред оценки. Авторы формулируют требования к независимой и лонгитюдной (долговременной) оценке: проверять нужно не один релиз на одном бенчмарке, а цепочку поколений. Отдельно в обзоре обсуждаются приложения и открытые исследовательские задачи.

Для команд, которые строят агентов с долговременной памятью, самообновляемыми промптами и инструментами, рамка S1–S4 работает как чек-лист. Кто оценивает предложение об улучшении: та же система или независимый контур? Фиксируются ли ограничения как регрессионные тесты, которые обновление обязано пройти? Что происходит с отравленными артефактами и персональными данными при передаче состояния наследнику? Можно ли повторить верификацию после изменения самого механизма обновления? Пока агенты правят лишь промпты и память, эти вопросы кажутся теоретическими. Когда они начнут править собственный цикл обучения, вопросы станут инженерными, и обзор даёт для них общий словарь.