FlashProve подтверждает модель по ответу со скоростью 110 токенов в секунду

Покупатель вызывает через API дорогую модель, но не видит, что происходит за интерфейсом. Провайдер или промежуточный ИИ-шлюз может незаметно отправить запрос более дешёвой модели, а затем выставить счёт как за исходную. Проверить подмену по самому тексту почти невозможно: похожий ответ ещё не доказывает, какая система его рассчитала.

Anthropic предложила для этой задачи FlashProve — открытый исследовательский прототип на основе zkSNARK. Он позволяет приложить к ответу криптографическое доказательство: результат действительно получен с помощью заявленных весов. Сами веса при этом не раскрываются.

Как это выглядит на практике

Представим корпоративный сервис проверки кода. Компания требует, чтобы каждый фрагмент перед выпуском анализировала конкретная модель безопасности. Сейчас журнал API показывает лишь имя модели, переданное в запросе. Если маршрутизатор подменит её более дешёвым вариантом, запись в журнале сама по себе ничего не докажет.

С FlashProve поставщик сначала формирует криптографический отпечаток весов модели. После выполнения запроса он создаёт компактное доказательство, связанное с этим отпечатком и результатом вычисления. Заказчик проверяет доказательство на обычном процессоре и получает подтверждение, что ответ создала нужная модель, — без доступа к её закрытым параметрам.

На испытании с Llama 4 Maverick, моделью на 400 миллиардов параметров, система генерировала доказательства примерно для 110 токенов в секунду на одном ускорителе Nvidia H100. Размер одного доказательства составлял около 19 МБ, а проверка занимала 17 секунд на стандартном CPU.

Это заметный прогресс относительно предыдущего сопоставимого открытого решения. По данным Anthropic, оно обрабатывало тысячу токенов более 14 часов, создавало доказательство размером 93,6 ГБ, а его проверка продолжалась почти сутки.

Где технология может пригодиться

Первый сценарий — аудит ИИ-провайдеров и маршрутизаторов. Заказчик сможет проверить, что сервис действительно использовал оплаченную модель, а не более дешёвую замену. Это особенно важно для платформ, которые автоматически распределяют запросы между несколькими поставщиками.

Второй сценарий — регулируемые процессы. Организация сможет доказать аудитору, что документы, программный код или решения проверялись одобренной моделью. Третий — контроль инфраструктуры: неожиданное появление другой модели в вычислительной цепочке может указывать на ошибку конфигурации или вмешательство.

FlashProve не требует доверенного оборудования. В этом его отличие от систем, которые подписывают трафик и отслеживают вычисления внутри контролируемого сервера. Криптографическое доказательство можно проверить отдельно от инфраструктуры поставщика.

Почему подключать FlashProve к продукту пока рано

Главное ограничение — стоимость. Создание доказательства увеличивает вычислительные расходы примерно в 70–95 раз по сравнению с обычным инференсом. Для массового чат-сервиса такая надбавка пока неприемлема, даже если само доказательство строится достаточно быстро.

Контекст ограничен 1024 токенами — этого мало для современных ассистентов, длинных документов и больших репозиториев. Прототип также работает только при жадном декодировании, когда модель каждый раз выбирает наиболее вероятный следующий токен. Обычные чат-боты применяют случайную выборку, чтобы ответы были менее однообразными. Кроме того, доказательство скрывает веса, но не архитектуру модели.

Поэтому FlashProve сегодня — не готовый модуль для продакшена, а сигнал о появлении нового слоя ИИ-инфраструктуры: проверяемого инференса. Разработчикам шлюзов стоит заранее сохранять идентификаторы моделей, параметры генерации и полную цепочку маршрутизации. Продуктовым командам — определить операции, где доказательство происхождения ответа действительно оправдает дополнительные расходы: аудит кода, финансовые решения, медицинские процессы или выполнение регуляторных требований.

Код, формальные доказательства на Lean и документация опубликованы под лицензией Apache 2.0. Экспериментировать уже можно, но обещать клиентам проверяемую работу обычного чат-бота пока нельзя.