ChatGPT-боты взламывают за 6 строк кода: сканер обнаружил уязвимость
BarkingDog — сканер безопасности для LLM-ботов в Telegram. При тестировании на реальном open-source проекте он обнаружил критические уязвимости: бот писал кейлоггеры, давал опасный совет и выдавал инструкции по взлому. Все проблемы решаются редактированием системного промпта.
AI-обработка оригинала Habr AI; редакция Hamidun News
Промпт-инъекции в ChatGPT-ботах Telegram оказались критической уязвимостью. Инженер создал BarkingDog — открытый сканер для поиска таких дыр, и результаты тревожны.
Что такое промпт-инъекции в ChatGPT?
Техника взлома, когда специальный текст обходит встроенные инструкции бота и заставляет его выполнить опасные команды — от кейлоггера до дезинформации.
Как защитить ChatGPT-бота от взлома?
По результатам тестирования сканера BarkingDog — нет панацеи. Даже с встроенными инструкциями отказа бот остается уязвим для промпт-инъекций.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.