OrderBench: почему JSON-схема не спасает LLM-агентов от опасных заказов

En juillet 2026, des chercheurs ont présenté OrderBench, un benchmark déterministe pour les agents LLM de restaurants qui a montré ceci : même lorsqu'un modèle produit un JSON conforme à 100 % au schéma, environ 20 % des commandes du modèle le plus performant restent sémantiquement incorrectes. La conclusion de l'étude est simple : la sortie structurée élimine les erreurs de parsing, mais ne garantit pas que la transaction soit sûre et exacte.

Qu'est-ce qu'OrderBench

OrderBench est un test déterministe qui mesure séparément six propriétés de la réponse d'un agent : la correction syntaxique, la validité par rapport au schéma, la justesse de la décision de statut, la sémantique précise des articles, la préservation des contraintes et les confirmations de commande dangereuses. L'idée est que les LLM fonctionnent de plus en plus comme un « compilateur de transactions » : l'utilisateur formule son intention avec des mots ordinaires, le modèle produit un objet structuré, et une API l'exécute. JSON Schema et les modes de sortie structurée des fournisseurs éliminent toute une catégorie d'erreurs de parsing — mais ne déterminent pas, à eux seuls, si la transaction que l'agent s'apprête à exécuter est correcte et sûre.

Ce qu'a montré l'expérience

Les auteurs ont effectué 2400 appels via la plateforme Nebius Token Factory vers quatre modèles ouverts, selon deux modes — invite ordinaire et schéma JSON imposé. Résultat principal : une réponse valide au regard du schéma peut encore comporter des erreurs sémantiques majeures. Pour le modèle le plus performant, les deux modes donnent 100 % de validité par rapport au schéma, mais le taux de réussite sémantique reste autour de 80 % — c'est-à-dire qu'une commande sur cinq est formellement correcte mais, sur le fond, erronée. Pour les modèles plus faibles, la part de confirmations de commande valides selon le schéma mais dangereuses se mesure en pourcentages à deux chiffres.

• Benchmark : OrderBench, déterministe, pour les commandes de restaurant
• Volume : 2400 appels à quatre modèles ouverts
• Plateforme : Nebius Token Factory
• Modes : invite seule et schéma JSON imposé
• Chiffre clé : 100 % de validité par rapport au schéma pour ~80 % de précision sémantique chez le meilleur modèle

Pourquoi le schéma ne suffit pas

La validité par rapport au schéma et l'exactitude de la commande sont deux choses différentes, et c'est la conclusion centrale de l'étude. Un schéma JSON ne garantit que la forme de l'objet : les champs requis sont présents et les types correspondent. Il ne vérifie pas que l'agent a choisi exactement le bon article, préservé les contraintes — allergies, substitutions, quantité — ni qu'il n'a pas confirmé une commande qui aurait dû être rejetée. Une telle confirmation dangereuse reste totalement invisible pour le validateur de schéma : l'objet passe la vérification et part vers l'API pour exécution, alors même qu'il est, sur le fond, erroné ou dangereux.

«

La sortie structurée est une couche d'interface nécessaire, mais elle ne remplace pas la vérification métier ni l'exécution fail-closed », indique le résumé de l'étude sur arXiv.

Ce que cela signifie

La sortie structurée résout le problème du parsing, mais pas celui de la confiance. Pour les développeurs de systèmes agentiques, l'étude conseille directement de ne pas s'appuyer sur le schéma comme garantie : il faut une seconde couche — la vérification métier et le principe fail-closed, selon lequel, en cas de doute, l'agent rejette la commande plutôt que de la confirmer. Sinon, un JSON soigneusement formé continuera d'exécuter des transactions incorrectes de manière fluide et invisible.

Questions fréquentes

Qu'est-ce qu'OrderBench ?

OrderBench est un benchmark déterministe pour les agents de commande de restaurant, présenté en juillet 2026. Il évalue séparément six propriétés de la réponse, y compris les confirmations de commande dangereuses que le validateur de schéma JSON ne détecte pas.

Un schéma JSON garantit-il l'exactitude de la commande ?

Non. Selon l'étude, pour le modèle le plus performant, les deux modes donnent 100 % de validité par rapport au schéma, mais la précision sémantique est d'environ 80 %, tandis que pour les modèles plus faibles, un pourcentage à deux chiffres des commandes passe le schéma tout en restant dangereux.

Que signifie fail-closed pour un agent ?

Fail-closed est le principe selon lequel, en cas d'ambiguïté, l'agent rejette l'action plutôt que de la confirmer. Les auteurs d'OrderBench le présentent, avec la vérification métier, comme un complément obligatoire à la sortie structurée, car le schéma JSON à lui seul ne filtre pas les commandes dangereuses.