OrderBench: por que o JSON Schema não protege agentes LLM de pedidos perigosos

Em julho de 2026, pesquisadores apresentaram o OrderBench, um benchmark determinístico para agentes LLM de restaurantes. O teste mostrou que, mesmo quando o modelo entrega um JSON com 100% de conformidade ao schema, cerca de 20% dos pedidos do melhor modelo continuam semanticamente errados. A conclusão do trabalho é direta: a saída estruturada elimina erros de parsing, mas não garante que a transação seja segura e precisa.

O que é o OrderBench

O OrderBench é um teste determinístico que mede separadamente seis propriedades da resposta do agente: correção sintática, validade em relação ao schema, acerto da decisão de status, semântica exata dos itens, preservação das restrições e confirmações inseguras de pedido. A motivação é que os LLMs vêm atuando cada vez mais como um "compilador de transações": o usuário expressa a intenção em linguagem natural, o modelo gera um objeto estruturado e uma API o executa. O JSON Schema e os modos de structured output dos provedores eliminam toda uma classe de erros de parsing, mas, por si sós, não resolvem se a transação que o agente está prestes a executar é correta e segura.

O que o experimento mostrou

Os autores fizeram 2400 chamadas, pela plataforma Nebius Token Factory, a quatro modelos abertos em dois modos: prompt comum e JSON Schema forçado. O principal resultado: uma resposta válida pelo schema ainda pode conter erros semânticos graves. No modelo mais forte, os dois modos entregam 100% de validade pelo schema, mas o sucesso semântico fica em torno de 80%. Ou seja, um em cada cinco pedidos está formalmente correto e errado na essência. Nos modelos mais fracos, a parcela de confirmações de pedido válidas pelo schema, porém inseguras, chega a percentuais de dois dígitos.

• Benchmark: OrderBench, determinístico, para pedidos de restaurante
• Volume: 2400 chamadas a quatro modelos abertos
• Plataforma: Nebius Token Factory
• Modos: apenas prompt e JSON Schema forçado
• Número-chave: 100% de validade pelo schema com ~80% de precisão semântica no melhor modelo

Por que o schema não resolve

Validade pelo schema e correção do pedido são coisas diferentes, e essa é a conclusão central do trabalho. O JSON Schema garante apenas a forma do objeto: os campos obrigatórios estão presentes e os tipos conferem. Ele não verifica se o agente escolheu exatamente o item certo, se preservou as restrições (alergias, substituições, quantidade) nem se deixou de confirmar um pedido que deveria ter sido recusado. Esse tipo de confirmação insegura fica totalmente invisível para o validador de schema: o objeto passa na checagem e segue para a API executar, embora seja errado ou perigoso no sentido.

"A saída estruturada é uma camada de interface necessária, mas não

substitui a verificação de domínio e a execução fail-closed", diz o resumo do estudo no arXiv.

O que isso significa

A saída estruturada resolve o problema do parsing, mas não o da confiança. O trabalho recomenda explicitamente que quem desenvolve sistemas agênticos não trate o schema como garantia: é preciso uma segunda camada, com verificação de domínio e o princípio fail-closed, em que, diante de qualquer dúvida, o agente recusa o pedido em vez de confirmá-lo. Caso contrário, um JSON bem formatado continuará executando transações erradas de forma regular e silenciosa.

Perguntas frequentes

O que é o OrderBench?

O OrderBench é um benchmark determinístico para agentes de pedidos de restaurante, apresentado em julho de 2026. Ele avalia separadamente seis propriedades da resposta, incluindo as confirmações inseguras de pedido, que o validador de JSON Schema não detecta.

O JSON Schema garante que o pedido esteja correto?

Não. Segundo o estudo, no modelo mais forte os dois modos entregam 100% de validade pelo schema, mas a precisão semântica fica em cerca de 80%, e nos modelos mais fracos uma fatia de dois dígitos dos pedidos passa pelo schema e continua insegura.

O que significa fail-closed para um agente?

Fail-closed é o princípio segundo o qual o agente, diante de qualquer ambiguidade, recusa a ação em vez de confirmá-la. Os autores do OrderBench o apontam, junto com a verificação de domínio, como complemento obrigatório da saída estruturada, já que o JSON Schema, por si só, não barra pedidos inseguros.