Google DeepMind финансирует исследование рисков взаимодействия миллионов AI-агентов

Google DeepMind финансирует новое исследование рисков, возникающих при взаимодействии миллионов разных ИИ-агентов друг с другом в интернете. Об этом сообщил портал MIT Technology Review со ссылкой на Рохина Шаха, который возглавляет в компании направление безопасности и согласования систем общего искусственного интеллекта (AGI safety and alignment research). По его словам, массовый выход на рынок агентов, способных выполнять задачи без постоянного контроля человека и получать инструкции от других агентов, создаёт принципиально новый класс рисков, который индустрия пока изучила слабо.

Кто стоит за исследованием

Google DeepMind — исследовательское подразделение Google, отвечающее как за разработку передовых моделей линейки Gemini, так и за фундаментальные исследования безопасности ИИ. Рохин Шах курирует именно то направление, которое занимается предсказуемым и контролируемым поведением систем, приближающихся к уровню общего искусственного интеллекта. Его команда традиционно смотрит не на отдельную модель, а на системные эффекты — то, что происходит, когда множество независимых ИИ-программ действуют в общей цифровой среде одновременно.

Ключевые факты об инициативе:

• Инициатор исследования — Google DeepMind, ИИ-подразделение Google
• Куратор направления — Рохин Шах, руководитель AGI safety and alignment research
• Предмет изучения — риски взаимодействия миллионов разных автономных агентов онлайн
• Главная угроза — агенты, действующие без надзора человека и подчиняющиеся инструкциям других агентов
• Источник — MIT Technology Review

В чём опасность массового появления агентов

Сегодня большинство дискуссий о безопасности ИИ сосредоточено на поведении одной модели — насколько она послушна, честна и предсказуема в диалоге с пользователем. Но агентная экономика, которую крупные компании активно строят весь 2026 год, подразумевает другой сценарий: тысячи и миллионы автономных программ одновременно бронируют билеты, ведут переговоры, торгуют на биржах или модерируют контент, вступая в контакт друг с другом без прямого участия людей. В такой среде классические защитные механизмы, рассчитанные на связку «человек — модель», теряют смысл: агент способен получить вредоносную инструкцию не от своего оператора, а от другого агента, маскирующегося под легитимного участника процесса.

Это порождает риски принципиально новой природы: каскадные сбои, когда ошибка одного агента лавинообразно распространяется на связанные с ним системы; сговор агентов, действующих в интересах разных, иногда противоречащих друг другу сторон; и промпт-инъекции, замаскированные под обычный сетевой трафик между программами, а не под сообщение от человека. Похожие опасения ранее звучали применительно к автоматизированным торговым системам, где скоординированное или просто синхронное поведение множества независимых алгоритмов уже приводило к резким и труднообъяснимым колебаниям рынков. ИИ-агенты, действующие в масштабах всего интернета, потенциально способны воспроизвести тот же эффект в куда большем числе сфер — от электронной коммерции до клиентских сервисов, где сегодня всё чаще на стороне и бизнеса, и пользователя работает не человек, а автономная программа.

Именно такие сценарии, судя по описанию MIT Technology Review, и находятся в фокусе работы, которую финансирует DeepMind.

Что это меняет для разработчиков агентных систем

Для компаний, уже строящих продукты на автономных агентах — от финансовых ботов до корпоративных ассистентов, — сигнал от одного из лидеров индустрии означает, что безопасность мультиагентных систем переходит из теоретической плоскости в практическую повестку разработки. Если DeepMind считает нужным выделять ресурсы именно на изучение рисков взаимодействия между агентами, а не только на alignment отдельных моделей, это косвенно указывает, где крупные игроки и регуляторы ожидают следующую волну инцидентов.

Практический вывод для инженеров — закладывать защиту от недоверенного ввода не только на границе «пользователь — агент», но и на границе «агент — агент»: верифицировать источник инструкций, ограничивать полномочия агентов при взаимодействии друг с другом и логировать межагентные коммуникации так же тщательно, как логи диалогов с пользователями. Обсуждение стандартов идентификации агентов, протоколов безопасного межагентного обмена данными и механизмов трассировки ответственности постепенно становится частью более широкой повестки индустрии — и исследование DeepMind, судя по всему, призвано закрыть хотя бы часть этого пробела до того, как агентные экосистемы масштабируются до миллионов одновременно действующих участников.