OrderBench: por qué un esquema JSON no protege a los agentes LLM de los pedidos peligrosos

En julio de 2026, unos investigadores presentaron OrderBench, un benchmark determinista para agentes LLM de restaurantes. Su resultado: incluso cuando el modelo genera un JSON con un 100% de cumplimiento del esquema, alrededor del 20% de los pedidos del modelo más potente siguen siendo semánticamente incorrectos. La conclusión del trabajo es sencilla: la salida estructurada elimina los errores de parseo, pero no garantiza que la transacción sea segura y precisa.

Qué es OrderBench

OrderBench es una prueba determinista que mide por separado seis propiedades de la respuesta del agente: corrección sintáctica, validez según el esquema, acierto en la decisión de estado, semántica exacta de los artículos, conservación de las restricciones y confirmaciones inseguras del pedido. La motivación es que los LLM actúan cada vez más como «compiladores de transacciones»: el usuario formula su intención en lenguaje natural, el modelo genera un objeto estructurado y una API lo ejecuta. JSON Schema y los modos de salida estructurada de los proveedores eliminan toda una clase de errores de parseo, pero por sí solos no resuelven si la transacción que el agente va a ejecutar es correcta y segura.

Qué mostró el experimento

Los autores realizaron 2400 llamadas a través de la plataforma Nebius Token Factory a cuatro modelos abiertos en dos modos: prompt normal y esquema JSON forzado. El resultado principal: una respuesta válida según el esquema puede contener errores semánticos graves. En el modelo más potente, ambos modos dan un 100% de validez según el esquema, pero el éxito semántico se queda en torno al 80%; es decir, uno de cada cinco pedidos es formalmente correcto y, en el fondo, erróneo. En los modelos más débiles, la proporción de confirmaciones de pedido válidas según el esquema pero inseguras se mide en porcentajes de dos cifras.

• Benchmark: OrderBench, determinista, para pedidos de restaurante
• Volumen: 2400 llamadas a cuatro modelos abiertos
• Plataforma: Nebius Token Factory
• Modos: solo prompt y esquema JSON forzado
• Cifra clave: 100% de validez según el esquema con ~80% de precisión semántica en el mejor modelo

Por qué el esquema no protege

La validez según el esquema y la corrección del pedido son cosas distintas, y esa es la conclusión central del trabajo. Un esquema JSON solo garantiza la forma del objeto: los campos necesarios están presentes y los tipos coinciden. No comprueba que el agente haya elegido exactamente el producto correcto, que haya conservado las restricciones (alergias, sustituciones, cantidad) ni que no haya confirmado un pedido que debía rechazarse. Una confirmación insegura de este tipo es totalmente invisible para el validador del esquema: el objeto pasa la comprobación y se envía a la API para su ejecución, aunque por su significado sea erróneo o peligroso.

«La salida estructurada es una capa de interfaz necesaria, pero no

sustituye la verificación de dominio ni la ejecución fail-closed», se afirma en el resumen del estudio en arXiv.

Qué significa esto

La salida estructurada resuelve el problema del parseo, pero no el de la confianza. El trabajo aconseja expresamente a los desarrolladores de sistemas con agentes que no se fíen del esquema como garantía: hace falta una segunda capa, con verificación de dominio y el principio fail-closed, según el cual, ante cualquier duda, el agente rechaza el pedido en lugar de confirmarlo. De lo contrario, un JSON pulcramente formado seguirá ejecutando transacciones erróneas de forma fiable y sin que nadie lo note.

Preguntas frecuentes

¿Qué es OrderBench?

OrderBench es un benchmark determinista para agentes de pedidos de restaurante, presentado en julio de 2026. Evalúa por separado seis propiedades de la respuesta, incluidas las confirmaciones inseguras de pedidos que el validador de esquemas JSON no detecta.

¿Garantiza un esquema JSON que el pedido sea correcto?

No. Según el estudio, en el modelo más potente ambos modos dan un 100% de validez según el esquema, pero la precisión semántica ronda el 80%, y en los modelos débiles un porcentaje de dos cifras de pedidos pasa el esquema y sigue siendo inseguro.

¿Qué significa fail-closed para un agente?

Fail-closed es el principio por el cual, ante cualquier ambigüedad, el agente rechaza la acción en lugar de confirmarla. Los autores de OrderBench lo señalan, junto con la verificación de dominio, como complemento imprescindible de la salida estructurada, ya que el esquema JSON por sí solo no filtra los pedidos inseguros.