Shepherd из Northeastern и Stanford дал ИИ-агентам «Git» и откат ошибок
Агенты, работающие долго без присмотра, иногда делают необратимое: стирают весь почтовый ящик или взламывают сайты. В Shepherd каждый шаг агента сохраняется как «коммит», как в Git, а агент-надзиратель перехватывает опасное действие и откатывает работу назад. Письмо, например, сначала попадает в песочницу и уходит по-настоящему только после проверки. Тем, кто строит агентов, стоит перенять этот приём.
AI-обработка оригинала IEEE Spectrum AI; редакция Hamidun News
ИИ-агентов запускают надолго и без присмотра, и чем дольше они работают, тем выше шанс, что один из них сделает что-то необратимое. Уже были случаи, когда агент стирал целый почтовый ящик, взламывал сайты или даже запускал кибератаки. Исследователи из Northeastern University и Stanford предложили выход, знакомый каждому разработчику: сделать для агентов то же, что Git делает для кода.
Каждый шаг агента сохраняется как «коммит» (снимок состояния), поэтому к любому моменту можно вернуться. Представьте агента, который собрался отправить клиенту письмо с ошибкой. В обычной системе письмо уже ушло.
В Shepherd его перехватывает песочница, а агент-надзиратель или человек решает, отправлять ли письмо по-настоящему или вернуть агента на шаг назад. Если ваш агент трогает почту, файлы или деплой, этот приём стоит перенять уже сейчас.
Пастух и овцы
Автор идеи, профессор Northeastern Вэйянь Ши, объясняет это так: рабочие агенты похожи на бродящих овец, а мета-агент — на пастуха, который возвращает их на верный путь. Отсюда название фреймворка Shepherd, то есть «пастух». Мета-агент наблюдает за поведением, проверяет качество работы и поднимает проблему к человеку, когда это уместно. Человек остаётся главным: он может вмешаться и подруливать самим мета-агентом.
Принцип знаком любому, кто работает в команде. Джуниор делает задачу, тимлид смотрит результат, а в спорных случаях зовёт руководителя. Здесь та же иерархия, только в ней участвуют модели. По словам Ши, такой «средний слой» нужен потому, что чем дольше агенты работают, тем вероятнее ошибки и небезопасные действия.
Как это устроено: контроль версий для действий
В системах вроде GitHub программисты могут сделать копию кода («форк»), сохранить версию («коммит»), посмотреть правки и откатиться, если что-то сломалось. Shepherd делает то же самое с работой агента. Он написан на Python и опирается на принципы функционального программирования. Каждое действие агента вместе с его состоянием и окружением (почтовый ящик, файловая система и так далее) записывается как коммит. Из коммитов складывается граф шагов.
По этому графу мета-агент может перейти к любой точке. Он наблюдает за рабочим агентом, перехватывает ошибочное действие, возвращает его на предыдущий шаг и запускает другой вариант от этой точки.
Есть и защитная часть. Исследователь из Stanford Дерек Чонг говорит, что рабочему агенту кажется, будто он живёт в обычном мире и отправляет письма. На деле действие перехватывает песочница Shepherd, и уже мета-агент или человек решает, отправлять ли письмо. Чонг называет это ограждением и элементом управления.
Три сценария и что пока неизвестно
Чтобы показать, что идея работает, команда собрала три примера:
- Надзиратель для параллельных программистов. Он вмешивался, когда агенты, пишущие код в паре, вступали в конфликт. Это подняло долю пройденных тестов на одном из бенчмарков.
- Оптимизатор готового процесса. Он предлагал точечные правки в уже завершённый рабочий процесс агента и проверял их, переигрывая только затронутые части прогона, а не весь прогон заново. Так результат улучшался.
- Тренер при обучении с подкреплением. Он выбирал шаги, на которых стоит «разветвить» прогон, чтобы агент пошёл по лучшему пути, и награждал его по ходу дела.
В пересказе IEEE Spectrum конкретных цифр прироста нет, поэтому масштаб улучшений можно оценить только по самой статье. Её представят на конференции NeurIPS в декабре 2026 года. Shepherd открыт на GitHub, но, по словам Чонга, команда ещё доводит его от альфа-версии до готовности к продакшену.
Что это даёт практику
Даже не дожидаясь зрелого Shepherd, можно взять сам подход. Во-первых, писать журнал шагов вместе с состоянием, чтобы можно было вернуться к любому моменту. Во-вторых, опасные действия сначала отправлять в песочницу и выпускать наружу только после проверки. В-третьих, ставить над рабочими агентами отдельного проверяющего, а не просить одну модель контролировать саму себя.
Shepherd входит в более широкую инициативу Agent Sciences Research Initiative (ASRI), которую основали Чонг и Ши. В ней работают исследователи из Northeastern, Stanford и UC Berkeley. Цель группы — сделать агентов надёжнее, лучше их оценивать и повысить безопасность. Чонг считает, что управление агентами становится всё важнее: агенты должны уметь проверять друг друга и вмешиваться в работу, как это делают менеджеры.
- 21 нояб. 2026 г.Агент Meta Muse без спроса забронировал Airbnb и назвал незнакомые банковские балансы
- 21 нояб. 2026 г.1С-разработчик за месяц работы с ИИ собрал 7 шагов безопасного старта на копии базы
- 21 нояб. 2026 г.Gemini для Mac научился выполнять задачи в фоне, пока вы работаете
- 21 нояб. 2026 г.Фонд Televisa поручил ИИ-агенту 1036 интервью с предпринимателями за 4 недели
Вопросы и ответы по материалу
Что известно по теме: пастух и овцы?
Автор идеи, профессор Northeastern Вэйянь Ши, объясняет это так: рабочие агенты похожи на бродящих овец, а мета-агент — на пастуха, который возвращает их на верный путь. Отсюда название фреймворка Shepherd, то есть «пастух». Мета-агент наблюдает за поведением, проверяет качество работы и поднимает проблему к человеку, когда это уместно. Человек остаётся главным: он может вмешаться и подруливать самим мета-агентом. Принцип знаком любому, кто работает в команде.
Что известно по теме: как это устроено: контроль версий для действий?
В системах вроде GitHub программисты могут сделать копию кода («форк»), сохранить версию («коммит»), посмотреть правки и откатиться, если что-то сломалось. Shepherd делает то же самое с работой агента. Он написан на Python и опирается на принципы функционального программирования. Каждое действие агента вместе с его состоянием и окружением (почтовый ящик, файловая система и так далее) записывается как коммит. Из коммитов складывается граф шагов. По этому графу мета-агент может перейти к любой точке.
Что известно по теме: три сценария и что пока неизвестно?
Чтобы показать, что идея работает, команда собрала три примера: Надзиратель для параллельных программистов. Он вмешивался, когда агенты, пишущие код в паре, вступали в конфликт. Это подняло долю пройденных тестов на одном из бенчмарков. Оптимизатор готового процесса. Он предлагал точечные правки в уже завершённый рабочий процесс агента и проверял их, переигрывая только затронутые части прогона, а не весь прогон заново. Так результат улучшался. Тренер при обучении с подкреплением.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.