Anthropic открыла FlashProve: проверка, что ответ дала нужная модель, за 17 секунд

Вы платите за топовую модель, а в ответ приходит что-то подозрительно простое. Проверить это почти невозможно: веса закрыты, ответ выглядит правдоподобно, а роутер между вами и провайдером может незаметно подставить модель подешевле. Anthropic выпустила в опенсорс FlashProve, и это первая попытка сделать такую проверку практичной.

Как это работает

Идея похожа на нотариальную печать. Провайдер заранее публикует цифровой отпечаток своих весов, то есть обязательство, по которому нельзя восстановить сами веса. К каждому ответу он прикладывает файл-доказательство. Если доказательство совпадает с опубликованным отпечатком, значит, ответ посчитала именно эта модель с этими весами.

Проверяющему не нужны ни веса, ни GPU. Достаточно обычного компьютера. Под капотом zkSNARK, криптографический метод, который давно известен: он позволяет доказать, что вычисление выполнено верно, не раскрывая сами входные данные вычисления (здесь это веса).

Представьте, что вы используете сервис-агрегатор, который обещает отвечать через самую сильную модель. Без такого протокола вы верите ему на слово. С FlashProve вы получаете ответ и файл, проверяете его за секунды и точно знаете, что подмены не было.

Что изменилось по цифрам

Сам zkSNARK не новость. Новость в том, что его удалось довести до реальных скоростей. По данным Anthropic, доказательство для запроса в 1024 токена весит около 19 МБ, а проверка занимает около 17 секунд. Предыдущий результат в этой области: около 14 часов проверки и доказательство на 93 ГБ. Разница в разы по времени и на порядки по размеру, и всё это на моделях до 400B параметров.

Отдельная деталь: в статье сказано, что ускорением и оптимизацией в основном занимался Claude. Это не доказывает универсальность подхода, но показывает, что модели уже помогают в низкоуровневой криптографической инженерии.

Зачем это на практике

Первый сценарий: роутинг-сервисы и прокси. Если вы строите продукт поверх агрегатора, можно потребовать доказательство и убедиться, что вам не подсунули дешёвую модель вместо заявленной.

Второй сценарий: безопасность внутри компании. Если модель в корпоративном контуре подменили злоумышленники, несовпадение с публичной печатью это выдаст.

Третий: регулируемые отрасли, где важно доказать аудитору, какая именно модель приняла решение.

Ограничения

Главное: это всё ещё сильно дороже обычного инференса. Генерировать доказательство тяжело, и в продакшене на каждый запрос это пока не включить. 17 секунд на проверку и 19 МБ на запрос подходят для выборочного аудита, но не для чата в реальном времени. Кроме того, протокол назван прототипом, а значит, нужны независимые проверки реализации и поддержка со стороны провайдеров: без публикации отпечатка весов проверять нечего.

Наконец, протокол подтверждает подлинность модели, но не качество и не безопасность её ответов.

Что делать

Если вы строите агрегатор или шлюз, посмотрите репозиторий и подумайте, как встроить выборочную проверку: например, на случайный процент запросов. Если вы закупаете инференс у перекупщиков, начните спрашивать про верифицируемость в контрактах. А если вы продакт в регулируемой сфере, держите технологию на радаре: через год-два требование доказуемого инференса может стать нормой.

Автор оригинального поста шутит, что отсюда недалеко и до детектора происхождения текстов. Это пока спекуляция, но направление понятное: от доверия на слово к проверяемым гарантиям.