Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарIEEE Spectrum AI→ оригинал

Shepherd из Northeastern и Stanford дал ИИ-агентам «Git» и откат ошибок

Агенты, работающие долго без присмотра, иногда делают необратимое: стирают весь почтовый ящик или взламывают сайты. В Shepherd каждый шаг агента сохраняется как «коммит», как в Git, а агент-надзиратель перехватывает опасное действие и откатывает работу назад. Письмо, например, сначала попадает в песочницу и уходит по-настоящему только после проверки. Тем, кто строит агентов, стоит перенять этот приём.

AI-обработка оригинала IEEE Spectrum AI; редакция Hamidun News
Shepherd из Northeastern и Stanford дал ИИ-агентам «Git» и откат ошибок
Источник: IEEE Spectrum AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникIEEE Spectrum AI ↗
Главный редактор
Ключевой факт #1Код открыт на GitHub, но пока это альфа-версия, не готовая к продакшену
Проверили на трёх задачахпарное программирование, оптимизация, RL-обучение
Ключевой факт #3Статью представят на NeurIPS в декабре 2026 года

ИИ-агентов запускают надолго и без присмотра, и чем дольше они работают, тем выше шанс, что один из них сделает что-то необратимое. Уже были случаи, когда агент стирал целый почтовый ящик, взламывал сайты или даже запускал кибератаки. Исследователи из Northeastern University и Stanford предложили выход, знакомый каждому разработчику: сделать для агентов то же, что Git делает для кода.

Каждый шаг агента сохраняется как «коммит» (снимок состояния), поэтому к любому моменту можно вернуться. Представьте агента, который собрался отправить клиенту письмо с ошибкой. В обычной системе письмо уже ушло.

В Shepherd его перехватывает песочница, а агент-надзиратель или человек решает, отправлять ли письмо по-настоящему или вернуть агента на шаг назад. Если ваш агент трогает почту, файлы или деплой, этот приём стоит перенять уже сейчас.

Пастух и овцы

Автор идеи, профессор Northeastern Вэйянь Ши, объясняет это так: рабочие агенты похожи на бродящих овец, а мета-агент — на пастуха, который возвращает их на верный путь. Отсюда название фреймворка Shepherd, то есть «пастух». Мета-агент наблюдает за поведением, проверяет качество работы и поднимает проблему к человеку, когда это уместно. Человек остаётся главным: он может вмешаться и подруливать самим мета-агентом.

Принцип знаком любому, кто работает в команде. Джуниор делает задачу, тимлид смотрит результат, а в спорных случаях зовёт руководителя. Здесь та же иерархия, только в ней участвуют модели. По словам Ши, такой «средний слой» нужен потому, что чем дольше агенты работают, тем вероятнее ошибки и небезопасные действия.

Как это устроено: контроль версий для действий

В системах вроде GitHub программисты могут сделать копию кода («форк»), сохранить версию («коммит»), посмотреть правки и откатиться, если что-то сломалось. Shepherd делает то же самое с работой агента. Он написан на Python и опирается на принципы функционального программирования. Каждое действие агента вместе с его состоянием и окружением (почтовый ящик, файловая система и так далее) записывается как коммит. Из коммитов складывается граф шагов.

По этому графу мета-агент может перейти к любой точке. Он наблюдает за рабочим агентом, перехватывает ошибочное действие, возвращает его на предыдущий шаг и запускает другой вариант от этой точки.

Есть и защитная часть. Исследователь из Stanford Дерек Чонг говорит, что рабочему агенту кажется, будто он живёт в обычном мире и отправляет письма. На деле действие перехватывает песочница Shepherd, и уже мета-агент или человек решает, отправлять ли письмо. Чонг называет это ограждением и элементом управления.

Три сценария и что пока неизвестно

Чтобы показать, что идея работает, команда собрала три примера:

  • Надзиратель для параллельных программистов. Он вмешивался, когда агенты, пишущие код в паре, вступали в конфликт. Это подняло долю пройденных тестов на одном из бенчмарков.
  • Оптимизатор готового процесса. Он предлагал точечные правки в уже завершённый рабочий процесс агента и проверял их, переигрывая только затронутые части прогона, а не весь прогон заново. Так результат улучшался.
  • Тренер при обучении с подкреплением. Он выбирал шаги, на которых стоит «разветвить» прогон, чтобы агент пошёл по лучшему пути, и награждал его по ходу дела.

В пересказе IEEE Spectrum конкретных цифр прироста нет, поэтому масштаб улучшений можно оценить только по самой статье. Её представят на конференции NeurIPS в декабре 2026 года. Shepherd открыт на GitHub, но, по словам Чонга, команда ещё доводит его от альфа-версии до готовности к продакшену.

Что это даёт практику

Даже не дожидаясь зрелого Shepherd, можно взять сам подход. Во-первых, писать журнал шагов вместе с состоянием, чтобы можно было вернуться к любому моменту. Во-вторых, опасные действия сначала отправлять в песочницу и выпускать наружу только после проверки. В-третьих, ставить над рабочими агентами отдельного проверяющего, а не просить одну модель контролировать саму себя.

Shepherd входит в более широкую инициативу Agent Sciences Research Initiative (ASRI), которую основали Чонг и Ши. В ней работают исследователи из Northeastern, Stanford и UC Berkeley. Цель группы — сделать агентов надёжнее, лучше их оценивать и повысить безопасность. Чонг считает, что управление агентами становится всё важнее: агенты должны уметь проверять друг друга и вмешиваться в работу, как это делают менеджеры.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: пастух и овцы?

Автор идеи, профессор Northeastern Вэйянь Ши, объясняет это так: рабочие агенты похожи на бродящих овец, а мета-агент — на пастуха, который возвращает их на верный путь. Отсюда название фреймворка Shepherd, то есть «пастух». Мета-агент наблюдает за поведением, проверяет качество работы и поднимает проблему к человеку, когда это уместно. Человек остаётся главным: он может вмешаться и подруливать самим мета-агентом. Принцип знаком любому, кто работает в команде.

Что известно по теме: как это устроено: контроль версий для действий?

В системах вроде GitHub программисты могут сделать копию кода («форк»), сохранить версию («коммит»), посмотреть правки и откатиться, если что-то сломалось. Shepherd делает то же самое с работой агента. Он написан на Python и опирается на принципы функционального программирования. Каждое действие агента вместе с его состоянием и окружением (почтовый ящик, файловая система и так далее) записывается как коммит. Из коммитов складывается граф шагов. По этому графу мета-агент может перейти к любой точке.

Что известно по теме: три сценария и что пока неизвестно?

Чтобы показать, что идея работает, команда собрала три примера: Надзиратель для параллельных программистов. Он вмешивался, когда агенты, пишущие код в паре, вступали в конфликт. Это подняло долю пройденных тестов на одном из бенчмарков. Оптимизатор готового процесса. Он предлагал точечные правки в уже завершённый рабочий процесс агента и проверял их, переигрывая только затронутые части прогона, а не весь прогон заново. Так результат улучшался. Тренер при обучении с подкреплением.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…