Anthropic disponibiliza FlashProve: comprovar a inferência de um modelo custa de 70 a 95 vezes o custo de executá-la

Você compra acesso a um modelo caro por meio de um intermediário. A resposta chega, o nome do modelo aparece e a cobrança é feita. Como verificar se foi realmente esse modelo que processou a solicitação? É difícil determinar isso com segurança apenas pela qualidade do texto. Em 2 de novembro, a Anthropic apresentou o FlashProve, um protótipo aberto que permite verificar a relação entre um resultado e pesos fixados previamente. Para os desenvolvedores, o interesse está na possibilidade de auditar o fornecedor, embora o custo ainda impeça seu uso em todas as solicitações. Anúncio da Anthropic.

O que exatamente a prova comprova

Imagine um serviço que promete processar documentos com determinado modelo. Primeiro, o fornecedor publica um compromisso criptográfico: ele o vincula a um conjunto específico de pesos, sem revelar seus valores. Em seguida, entrega uma prova junto com o resultado dos cálculos. O cliente verifica essa prova em uma CPU, sem baixar os pesos nem executar novamente o modelo de grande porte.

O FlashProve se baseia em zkSNARK, um protocolo criptográfico para verificar cálculos. Nesse cenário, o verificador recebe a confirmação de que o resultado declarado corresponde ao modelo comprometido e aos dados de entrada. A própria prova é projetada para não revelar os pesos. Isso permite separar duas tarefas: o fornecedor armazena o modelo e realiza os cálculos pesados, enquanto o cliente verifica a evidência recebida. O princípio é descrito no relatório técnico.

Mas uma pergunta permanece: quem confirmou que o identificador publicado realmente corresponde ao modelo pelo qual você pagou? Se o intermediário escolher pesos baratos e apresentá-los como um modelo caro, uma prova válida não detectará essa fraude. O identificador precisa ser obtido previamente de uma parte confiável. Esse limite de confiança está explicitado no README do projeto.

Para uma equipe de produto, isso acrescenta um requisito aos acordos com o fornecedor: não basta receber um arquivo com a prova. É preciso entender com qual referência ela é comparada e quem responde por essa referência.

Por que é fácil interpretar os 110 tokens por segundo de forma errada

O experimento foi realizado com o Llama 4 Maverick, pesos de 4 bits e um contexto de 1024 tokens. Com um lote de 24 solicitações, uma única H100 processava cerca de 110 tokens de entrada por segundo enquanto gerava as provas. Essa é a velocidade de processamento dos prompts, não de entrega de novos tokens ao usuário. Cada solicitação nessa medição comprovava um único token seguinte. Condições das medições.

A diferença é significativa. É fácil confundir o número 110 com a velocidade de um chat completo com respostas verificáveis. Na prática, uma solicitação do lote aguardava a conclusão das provas de todo o lote: aproximadamente 221–226 segundos, antes de qualquer verificação adicional. Portanto, não se pode transformar uma medida de vazão em promessas de latência para o usuário. São características distintas do mesmo experimento. Tabela de desempenho.

Segundo a estimativa da Anthropic, gerar as provas exige aproximadamente de 70 a 95 vezes o tempo de GPU de uma inferência convencional via vLLM. A prova da solicitação de teste ocupa cerca de 19 MB. Para uma API em grande escala, isso altera significativamente os custos de computação e transferência de dados. Estimativa dos autores.

O que verificar antes de experimentar

As garantias se aplicam a uma implementação específica do modelo que usa números inteiros. Verificar se suas respostas coincidem com as da versão convencional, que opera em ponto flutuante, exige uma avaliação separada. Além disso, a verificação estrita de correspondência exata e o modo que admite desvios oferecem garantias diferentes. A conclusão bem-sucedida do programa, por si só, ainda não explica exatamente o que ele comprovou. A verificação também abrange apenas as posições de tokens especificadas. Limitações conhecidas.

Minha conclusão prática é começar verificando um exemplo salvo e analisando a saída do verificador. O repositório oferece uma forma de fazer isso sem GPU, e o código está disponível sob a licença Apache 2.0. Ainda assim, os autores descrevem o projeto como um artefato de pesquisa sem manutenção. Repositório do FlashProve.

Para uma equipe que esteja construindo um sistema de auditoria de APIs de IA, o próximo passo útil é definir seus próprios requisitos: quais cálculos precisam ser comprovados, quem certifica os pesos e quanto tempo é possível esperar. Depois, medir o custo no seu próprio caso de uso. Comprovar a origem de uma resposta não torna seu conteúdo correto por si só. Mas oferece uma forma técnica de verificar uma promessa do fornecedor que hoje muitas vezes precisa ser aceita com base na confiança.