Artificial Analysis выявила потери качества у 24 из 103 API-эндпоинтов

Название модели в настройках API ещё не гарантирует ожидаемого качества. Агент может правильно выбрать инструмент, но провайдер передаст его аргументы в неверном формате. Или модель потратит весь доступный ответ на рассуждения, а до результата не доберётся. Для пользователя оба случая выглядят одинаково: продукт не справился с задачей.

Artificial Analysis обновила Endpoint Accuracy Index до версии 1.1. Из 103 проверенных серверных эндпоинтов 24 статистически уступили эталонному развёртыванию соответствующей модели. Это около 23% выборки. Практический вывод для команды: при выборе API нужно проверять конкретного провайдера, даже если сама модель уже прошла ваши тесты.

Где теряется качество

Показательный случай — GLM-5.3 Flash. У двух эндпоинтов максимальный ответ ограничен примерно 32 тысячами токенов. Около половины ответов на сложные вопросы HLE-250 упирались в этот потолок до получения результата. Доля правильных ответов составила 22,3% и 28,5%, тогда как эталонное развёртывание показало 55,4%.

Есть и менее заметные ограничения. Два других эндпоинта той же модели выдавали примерно на 30% меньше токенов рассуждения без видимого обрыва ответа. Их результаты на HLE-250 — 48,4% и 48,6%. По одному этому наблюдению нельзя установить внутреннюю причину, но для разработчика разница существенна: одинаковые запрошенные настройки не обеспечили одинаковое поведение.

С инструментами проблема бывает совсем приземлённой. Представьте сервис бронирования, где идентификатор заказа должен приходить строкой. Два эндпоинта Muse Spark Open возвращали такие аргументы числами. В многошаговом сценарии этого достаточно, чтобы вызов не соответствовал контракту инструмента. На тесте BFCL-500 они получили 49,9% и 50,7% против 59,1% у эталона.

Другие обнаруженные сбои включали испорченные имена параметров, объекты в виде JSON-строк и повторное использование идентификаторов вызовов инструментов. У одного эндпоинта Kimi K3 запросы обрывались примерно через десять минут: около 9% заданий HLE-250 завершались без ответа модели.

Что измеряет индекс

Каждый эндпоинт проходит три проверки: вызовы инструментов, сложные научные вопросы и поиск информации в длинном контексте примерно на 100 тысяч входных токенов. Результат каждой проверки делят на результат эталонного запуска, выражают в процентах и усредняют с равными весами.

Поэтому значение индекса 100% означает уровень эталона, а не стопроцентную точность ответов. Значение выше 100% тоже не доказывает превосходство провайдера: нужно смотреть на интервал неопределённости. Авторы считают эндпоинт отстающим, когда весь его 95-процентный доверительный интервал находится ниже 100%.

В версии 1.1 число повторов в проверке длинного контекста увеличили с 10 до 25, исправили ключи ответов для двух вопросов и обновили модель проверки совпадений. На общей выборке средняя погрешность этой проверки сократилась с ±4,7 до ±2,6 процентного пункта. Результаты разных версий напрямую сравнивать нельзя.

При этом объяснять все потери квантизацией было бы ошибкой. Все три эндпоинта GLM-5.3 Flash с весами FP4 оказались статистически на уровне эталона FP8. А у DeepSeek V4.1 Flash 1017 все 22 проверенных эндпоинта соответствовали эталону в пределах неопределённости.

Что проверить перед подключением API

Для команды индекс полезен как фильтр перед собственными испытаниями. Проверьте максимальную длину ответа, тайм-аут запроса, корректность завершения потока и реальные типы аргументов инструментов. Затем прогоните несколько характерных задач продукта целиком: от пользовательского запроса до последнего действия агента. Проверка отдельного ответа не покажет, что сломается на третьем вызове инструмента.

Ограничения у исследования существенные. Три теста не описывают все рабочие нагрузки, а отсутствие статистически значимого отставания не гарантирует полного равенства. Замеры проводились с 8 октября по 4 ноября 2026 года; настройки провайдера после этого могли измениться. Цена и задержка остаются важными критериями, но качество конкретного эндпоинта теперь можно проверять отдельно — и закладывать такую проверку в процедуру смены поставщика.