Quem é mais honesto com JSON: ChatGPT, Gemini ou xAI?

Desenvolvedores do Habr fizeram testes adversariais dos Structured Outputs de OpenAI, Gemini e xAI para verificar com que fidelidade cada um segue o JSON Schema. Eles pediram que os modelos quebrassem de propósito o formato da resposta e observaram onde cada provedor resiste. Os resultados surpreendem: as restrições para anyOf, oneOf, allOf e strict: true são diferentes em todos. A conclusão: para sistemas em produção com vários provedores, isso é crítico.

Processado por IA de Habr AI; editado por Hamidun News
Quem é mais honesto com JSON: ChatGPT, Gemini ou xAI?
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo

Desenvolvedores do Habr fizeram um estudo para verificar como funcionam os Structured Outputs em três dos principais provedores de LLM: ChatGPT (OpenAI), Gemini e xAI.

Como foi testada a honestidade com JSON?

Os autores usaram testes adversariais: montaram prompts para forçar o modelo a violar o JSON Schema e checaram onde cada provedor se mantém firme e onde cede.

História
ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…