Artificial Analysis: каждый четвёртый API-эндпоинт LLM отстаёт от эталона по точности

Вы выбрали открытую модель, нашли провайдера с самой низкой ценой за миллион токенов и запустили её в продакшен. Через неделю пользователи жалуются, что ответы стали хуже, чем в демо. Виновата может быть не сама модель, а то, как именно её запустил провайдер.

Именно эту проблему измеряет Artificial Analysis. Команда выпустила Endpoint Accuracy Index v1.1. Это небольшое обновление версии, но с расширенным покрытием: в индекс добавили GLM-5.3 Flash и Muse Spark Open.

Что показал индекс

Главная цифра из анонса: среди более чем 100 протестированных serverless-эндпоинтов почти каждый четвёртый набирает меньше референса. Под референсом понимается эталонный результат модели, с которым сравнивают реализации разных провайдеров.

Важная оговорка: пост в X обрезан на середине фразы о том, как именно провайдеры жертвуют точностью. Полную методологию, список отстающих эндпоинтов и размер разрыва нужно смотреть на сайте Artificial Analysis. Здесь мы опираемся только на то, что опубликовано в самом анонсе.

Откуда берётся разница

Из анонса следует, что провайдеры идут на компромисс по точности. Как именно, в доступной части текста не сказано. В индустрии обычно называют несколько типичных причин. Модель могут квантизировать до более низкой разрядности, чтобы она быстрее работала и стоила дешевле. Могут менять настройки инференса или ускорять генерацию приёмами, которые слегка влияют на качество. Всё это провайдер редко выносит на первую страницу прайса.

Представьте два магазина, которые продают один и тот же товар. У одного цена ниже, потому что он сэкономил на качестве упаковки. Снаружи ценник и название совпадают, а разница видна только при использовании. С API моделей то же самое: название модели одинаковое, а внутри может быть другая реализация.

Что с этим делать на практике

Первое: не считайте название модели гарантией качества. Строка «GLM-5.3 Flash» у двух провайдеров не означает идентичное поведение.

Второе: добавьте точность в таблицу выбора рядом с ценой, задержкой и пропускной способностью. Если вы сравниваете только цену и скорость, вы систематически выбираете тех, кто сильнее всех сэкономил.

Третье: у вас должен быть собственный набор проверок на реальных задачах. Публичный индекс показывает общую картину, но ваш сценарий может быть чувствительнее к деградации. Для генерации кода, извлечения данных в строгий формат или длинных цепочек рассуждений небольшая потеря точности часто заметнее, чем для простого чата. Прогоните свой eval на кандидатах, прежде чем переключать трафик.

Четвёртое: перепроверяйте после смены провайдера или обновления эндпоинта. Реализация может поменяться, а вы об этом не узнаете, пока не посмотрите на метрики.

Ограничения

Стоит держать в голове несколько вещей. Во-первых, «ниже референса» не равно «плохо». Разрыв может быть небольшим и приемлемым для вашей задачи, если цена и скорость критичнее. Во-вторых, индекс измеряет конкретный набор тестов, и ваш рабочий сценарий может вести себя иначе. В-третьих, это версия 1.1, то есть методика ещё развивается, а охват моделей расширяется постепенно.

Тем не менее сам факт, что у такого количества эндпоинтов точность проседает, сильный сигнал для команд, которые строят продукт на сторонних API. Рынок инференса стал похож на рынок хостинга: одинаковые на вид предложения отличаются в деталях. И появление независимого индекса, который эти детали измеряет, делает выбор провайдера чуть менее слепым.

Итог простой: проверяйте не только то, какую модель вам обещают, но и то, что реально приходит в ответе.