Кто честнее: ChatGPT, Gemini и xAI в работе с JSON

Разработчики Habr провели adversarial-тесты Structured Outputs у OpenAI, Gemini и xAI, чтобы проверить, как честно они соблюдают JSON Schema. Просили моделей специально нарушить формат ответа и смотрели, где каждый провайдер держит оборону. Результаты неожиданные: ограничения на anyOf, oneOf, allOf, strict: true — у всех разные. Вывод: для production-систем с несколькими провайдерами это критично.

AI-обработка оригинала Habr AI; редакция Hamidun News
Кто честнее: ChatGPT, Gemini и xAI в работе с JSON
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью

Разработчики Habr провели исследование, проверив, как работают Structured Outputs у трёх ведущих LLM-провайдеров: ChatGPT (OpenAI), Gemini и xAI.

Как тестировали честность работы с JSON?

Авторы использовали метод adversarial-тестирования, специально конструируя подсказки, чтобы заставить модель нарушить JSON Schema, и проверяли, где каждый провайдер держит строку, а где сдаётся.

Сюжет
ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…