Anthropic libera FlashProve: comprueba en 17 segundos que la respuesta procede del modelo correcto

Pagas por un modelo de primer nivel, pero recibes una respuesta sospechosamente simple. Comprobar qué ha ocurrido es casi imposible: los pesos son privados, la respuesta parece verosímil y un enrutador situado entre el usuario y el proveedor puede sustituir discretamente el modelo por otro más barato. Anthropic ha publicado FlashProve como código abierto, en el primer intento de hacer práctica esta clase de verificación.

Como funciona

La idea se parece a un sello notarial. El proveedor publica de antemano una huella digital de sus pesos, es decir, un compromiso criptográfico que no permite reconstruir los propios pesos. Después adjunta a cada respuesta un archivo de prueba. Si la prueba coincide con la huella publicada, significa que la respuesta fue calculada precisamente por ese modelo y con esos pesos.

Quien realiza la comprobación no necesita los pesos ni una GPU. Basta con un ordenador convencional. Por debajo funciona zkSNARK, un método criptográfico conocido desde hace tiempo que permite demostrar que un cálculo se ha ejecutado correctamente sin revelar sus datos de entrada, que en este caso son los pesos.

Imagina que utilizas un servicio agregador que promete responder mediante el modelo más potente. Sin un protocolo de este tipo, debes confiar en su palabra. Con FlashProve recibes la respuesta y un archivo, lo verificas en segundos y sabes con certeza que no hubo ninguna sustitución.

Que ha cambiado, en cifras

zkSNARK no es una novedad por sí mismo. La novedad es haberlo llevado a velocidades prácticas. Según Anthropic, la prueba para una solicitud de 1.024 tokens ocupa unos 19 MB y la verificación tarda alrededor de 17 segundos. El resultado anterior en este campo exigía unas 14 horas de comprobación y generaba una prueba de 93 GB. La diferencia es de varias veces en tiempo y de varios órdenes de magnitud en tamaño, y todo ello en modelos de hasta 400B parámetros.

Un detalle aparte: el artículo afirma que Claude se encargó principalmente de la aceleración y la optimización. Esto no demuestra que el enfoque sea universal, pero sí muestra que los modelos ya contribuyen a trabajos de ingeniería criptográfica de bajo nivel.

Para que sirve en la practica

El primer escenario son los servicios de enrutamiento y los proxies. Si construyes un producto sobre un agregador, puedes exigir una prueba y asegurarte de que no te hayan entregado un modelo barato en lugar del anunciado.

El segundo escenario es la seguridad dentro de una empresa. Si unos atacantes sustituyen el modelo en un entorno corporativo, la discrepancia con la huella publica revelara el cambio.

El tercero son los sectores regulados, donde es importante demostrar a un auditor que modelo concreto tomo una decision.

Limitaciones

La principal es que todo esto sigue siendo mucho mas caro que la inferencia convencional. Generar una prueba exige muchos recursos y, por ahora, no resulta viable activarlo para cada solicitud en produccion. Una verificacion de 17 segundos y 19 MB por solicitud puede servir para auditorias selectivas, pero no para un chat en tiempo real. Ademas, el protocolo se presenta como un prototipo, lo que implica que hacen falta revisiones independientes de la implementacion y apoyo por parte de los proveedores: sin la publicacion de la huella de los pesos, no hay nada que verificar.

Por ultimo, el protocolo confirma la identidad del modelo, pero no la calidad ni la seguridad de sus respuestas.

Que hacer

Si estas desarrollando un agregador o una pasarela, revisa el repositorio y piensa como incorporar una comprobacion selectiva, por ejemplo, sobre un porcentaje aleatorio de las solicitudes. Si compras inferencia a revendedores, empieza a pedir clausulas de verificabilidad en los contratos. Y si tu producto opera en un sector regulado, manten esta tecnologia en el radar: dentro de uno o dos anos, exigir inferencia verificable podria convertirse en la norma.

El autor de la publicacion original bromea con que de aqui al detector del origen de los textos no hay mucha distancia. Por ahora es una especulacion, pero la direccion esta clara: pasar de confiar en la palabra de alguien a disponer de garantias verificables.