Кто честнее: ChatGPT, Gemini и xAI в работе с JSON
Разработчики Habr провели adversarial-тесты Structured Outputs у OpenAI, Gemini и xAI, чтобы проверить, как честно они соблюдают JSON Schema. Просили моделей специально нарушить формат ответа и смотрели, где каждый провайдер держит оборону. Результаты неожиданные: ограничения на anyOf, oneOf, allOf, strict: true — у всех разные. Вывод: для production-систем с несколькими провайдерами это критично.
AI-обработка оригинала Habr AI; редакция Hamidun News
Разработчики Habr провели исследование, проверив, как работают Structured Outputs у трёх ведущих LLM-провайдеров: ChatGPT (OpenAI), Gemini и xAI.
Как тестировали честность работы с JSON?
Авторы использовали метод adversarial-тестирования, специально конструируя подсказки, чтобы заставить модель нарушить JSON Schema, и проверяли, где каждый провайдер держит строку, а где сдаётся.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.