Безопасность и правоAPI / Продукт · В работуOpenAI Blog→ оригинал

OpenAI и Hacktron сосредоточили аудит на одном слое — внешних интеграциях

OpenAI привлекла Hacktron к совместному поиску уязвимостей и открыла команде расширенный доступ к передовым моделям через Daybreak Red. Проверять будут прежде всего стыки с внешними сервисами — места, где ИИ-агент получает токены, вызывает API и передаёт данные между системами. Для разработчиков это полезный сигнал: безопасность агента нельзя сводить к качеству промпта или проверке его собственного кода.

AI-обработка оригинала OpenAI Blog; редакция Hamidun News
OpenAI и Hacktron сосредоточили аудит на одном слое — внешних интеграциях
Источник: OpenAI Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникOpenAI Blog ↗
Главный редактор
Ключевой факт #1Аудит ИИ-агента должен охватывать API, облако и систему управления доступом.
Ключевой факт #2Перед запуском агента проверьте его токены, права и границы внешних вызовов.
Ключевой факт #3Независимые исследователи дополняют внутреннее тестирование команды продукта.

ИИ-агент редко ломает систему в одиночку. Настоящие проблемы начинаются на стыках: модель вызывает внешний API, получает временный токен, читает данные из облака и передаёт результат следующему сервису. Каждая операция может выглядеть безопасной отдельно, но вместе они образуют новый путь атаки.

Именно этот слой OpenAI собирается проверять вместе с Hacktron. Исследователи компании будут работать с инженерами OpenAI над выбранными приоритетными областями, уделяя особое внимание взаимодействию систем с внешними сервисами. Кроме того, Hacktron получит расширенный доступ к передовым моделям через программу Daybreak Red.

Почему проверяют именно стыки

Представим корпоративного агента, который разбирает обращения клиентов. Он читает письмо, ищет данные в CRM, запрашивает историю платежей и создаёт задачу для поддержки. В каждом сервисе настроена собственная авторизация, но агент связывает их в одну цепочку.

Если злоумышленник заставит агента выполнить нежелательное действие через содержимое письма, последствия будут зависеть не только от модели. Важно, какие токены доступны процессу, разрешено ли ему выгружать полную карточку клиента, может ли он создавать новых пользователей и проверяет ли система назначение каждого вызова. Уязвимость может появиться между компонентами, которые по отдельности прошли аудит.

Hacktron специализируется как раз на таких связках: приложениях, облачной инфраструктуре и системах управления доступом. Команда создаёт ИИ-агентов для анализа кода, тестирования на проникновение и red teaming. OpenAI познакомилась с ней через собственную программу вознаграждений за найденные ошибки после того, как исследователи обнаружили и корректно раскрыли несколько уязвимостей.

Что меняется в подходе OpenAI

Партнёрство не заменяет внутреннюю безопасность. Hacktron будет работать рядом с инженерами OpenAI, а независимые исследователи по-прежнему смогут отправлять находки через bug bounty. Незадолго до этого OpenAI также объявила новый раунд усиленного тестирования с Cathedral и повысила выплаты за найденные уязвимости.

Получается многоуровневая схема: продуктовые команды знают устройство систем, приглашённые специалисты ищут сложные цепочки атак, а открытая программа вознаграждений расширяет круг проверяющих. Доступ к более сильным моделям должен помочь исследователям быстрее анализировать код и инфраструктуру, но публикация не сообщает ни результатов тестирования, ни числа найденных ошибок, ни сроков исправления. Поэтому пока это обещание процесса, а не доказательство его эффективности.

Есть и очевидное ограничение: тот же мощный инструмент, который ускоряет защитников, способен ускорить атакующих. Расширенный доступ требует изоляции среды, журналирования действий и строгого контроля над тем, какие системы может затронуть агент. Само наличие передовой модели не гарантирует качественного аудита — нужны опытные специалисты, воспроизводимые проверки и понятный порядок исправления находок.

Что делать разработчикам и продуктам

При проектировании агента рисуйте не только схему его промптов, но и полную карту полномочий: какие API он вызывает, где лежат токены, какие данные читает и куда может их отправить. Для каждого шага задайте минимальные права, ограничьте объём операций и сохраняйте журнал вызовов.

Отдельно проверяйте цепочки, а не только компоненты. Попробуйте передать вредоносную инструкцию через письмо, документ или ответ внешнего сервиса и проследите, сможет ли она изменить поведение агента. Критические действия — платежи, выдачу доступа, удаление данных — лучше подтверждать отдельно и не доверять одному решению модели.

Главный вывод партнёрства OpenAI и Hacktron прост: поверхность атаки ИИ-продукта заканчивается не на модели. Чем больше сервисов соединяет агент, тем важнее проверять границы между ними — именно там безопасные по отдельности функции могут сложиться в опасный сценарий.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему проверяют именно стыки?

Представим корпоративного агента, который разбирает обращения клиентов. Он читает письмо, ищет данные в CRM, запрашивает историю платежей и создаёт задачу для поддержки. В каждом сервисе настроена собственная авторизация, но агент связывает их в одну цепочку. Если злоумышленник заставит агента выполнить нежелательное действие через содержимое письма, последствия будут зависеть не только от модели.

Что известно по теме: что меняется в подходе OpenAI?

Партнёрство не заменяет внутреннюю безопасность. Hacktron будет работать рядом с инженерами OpenAI, а независимые исследователи по-прежнему смогут отправлять находки через bug bounty. Незадолго до этого OpenAI также объявила новый раунд усиленного тестирования с Cathedral и повысила выплаты за найденные уязвимости. Получается многоуровневая схема: продуктовые команды знают устройство систем, приглашённые специалисты ищут сложные цепочки атак, а открытая программа вознаграждений расширяет круг проверяющих.

Что известно по теме: что делать разработчикам и продуктам?

При проектировании агента рисуйте не только схему его промптов, но и полную карту полномочий: какие API он вызывает, где лежат токены, какие данные читает и куда может их отправить. Для каждого шага задайте минимальные права, ограничьте объём операций и сохраняйте журнал вызовов. Отдельно проверяйте цепочки, а не только компоненты. Попробуйте передать вредоносную инструкцию через письмо, документ или ответ внешнего сервиса и проследите, сможет ли она изменить поведение агента.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ ИИ-агенты на практике · Академия & Nomad

От чтения про ИИ-агентов — к запуску своего агента за вечер

Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.

Попробовать Академию (72ч бесплатно) →Запустить Nomad Agent
Что вы думаете?
Загружаем комментарии…