The Verge→ оригинал

Desenvolvedor afirma ter hackeado o sistema de marca d’água SynthID, do Google DeepMind

Um desenvolvedor sob o pseudônimo Aloshdenny afirmou ter hackeado o SynthID — sistema de marca d’água oculta do Google DeepMind para imagens de AI. Segundo ele,

Desenvolvedor afirma ter hackeado o sistema de marca d’água SynthID, do Google DeepMind
Источник: The Verge. Коллаж: Hamidun News.

Разработчик под ником Aloshdenny опубликовал на GitHub репозиторий с кодом, который, по его словам, позволяет обойти SynthID — систему скрытых водяных знаков Google DeepMind для маркировки AI-генерируемых изображений. Автор утверждает, что научился удалять водяные знаки с картинок или, напротив, вставлять их в любые изображения без разрешения Google. SynthID — разработка Google DeepMind, встроенная в Gemini и другие инструменты компании.

Технология незаметно для человеческого глаза модифицирует пиксели изображения, оставляя цифровую «подпись», которая должна выживать при сжатии, обрезке и других манипуляциях. Цель — дать возможность идентифицировать AI-контент даже спустя длительное время после публикации. В ноябре 2023 года Google представила SynthID публично, а с 2024 года водяные знаки начали применяться и к тексту.

Aloshdenny рассказал о своём методе в публикации на Medium. По его словам, для обратного инжиниринга не понадобились нейронные сети или закрытый доступ к инфраструктуре Google. Достаточно было сгенерировать 200 изображений через Gemini и применить методы обработки сигналов.

«Если ты безработный и усредняешь достаточно много чёрных AI-картинок, паттерн сам вылезет наружу» — примерно так он описывает свой процесс. Разработчик опубликовал код на GitHub под открытой лицензией и намеренно подчеркнул, что весь процесс легален: никакого взлома, только анализ общедоступных изображений. Google DeepMind отреагировала сдержанно: представители компании заявили, что описанный метод не является настоящим взломом SynthID.

По версии Google, Aloshdenny не получил доступ к самому алгоритму маркировки, а лишь научился воспроизводить поверхностные статистические паттерны, которые не эквивалентны настоящей подписи системы. Иными словами, Google настаивает: SynthID не скомпрометирован. Тем не менее этот эпизод обнажает принципиальную уязвимость самой идеи водяных знаков для AI-контента.

Если разработчик-одиночка с несколькими сотнями картинок способен хотя бы частично угадать паттерн маркировки, что помешает хорошо финансируемым командам сделать это на порядок эффективнее? Эксперты давно предупреждали: любая система водяных знаков, построенная на статистической регулярности в изображениях, теоретически уязвима для подобных атак. Дискуссия показательна ещё и потому, что водяные знаки AI-контента воспринимаются как один из ключевых инструментов будущего регулирования.

Европейский AI Act и ряд американских законопроектов предусматривают обязательную маркировку контента, сгенерированного искусственным интеллектом. Если такие системы могут быть обойдены любителем с ноутбуком и свободным временем, их практическая ценность как регуляторного инструмента вызывает серьёзные сомнения. Вопрос о том, насколько глубоко удалось разобраться в архитектуре SynthID, остаётся открытым — Google отрицает взлом, а независимой публичной экспертизы кода Aloshdenny пока не было.

Но сам факт того, что разработка подобного инструмента оказалась возможной с минимальными ресурсами, — уже серьёзный сигнал для всей индустрии.

ЖХ
Hamidun News
AI‑новости без шума. Ежедневный редакторский отбор из 400+ источников. Продукт Жемала Хамидуна, Head of AI в Alpina Digital.
Загружаем комментарии…