MLCommons начал мерить ИИ-API под реальной нагрузкой: 7 замеров для агентов
MLCommons, автор тестов MLPerf, раньше сравнивал чипы в лаборатории, а покупателю важно, как ведёт себя готовый ИИ-API под нагрузкой. Новый MLPerf Endpoints v1.0 проверяет сервис целиком: железо, модель, серверный софт и сеть. Для агентных задач провайдер снимает ровно 7 замеров при разном числе одновременных запросов, и видно, где скорость резко падает. Поэтому провайдеров стоит сравнивать по такой кривой, а не по пиковому баллу.
AI-обработка оригинала MLCommons; редакция Hamidun News
Представьте, что вы выбираете, где запускать модель для продукта: у одного провайдера в таблице красуется рекордная скорость, у другого она скромнее. Беда в том, что рекорд обычно снят на идеально настроенном ускорителе без реальных пользователей. Когда к готовому API одновременно стучатся сотни клиентов, картина может быть совсем другой. Консорциум MLCommons, который делает эталонные тесты MLPerf, запустил MLPerf Endpoints v1.0, чтобы закрыть этот разрыв: тест замеряет не чип, а работающий сервис целиком, так, как им пользуются покупатели.
Что изменилось по сравнению с прежним MLPerf
Раньше MLPerf в основном измерял отдельное железо. Endpoints берёт живой API-эндпоинт, то есть адрес, по которому клиенты отправляют запросы, и нагружает его по-боевому. В результат попадает весь стек: ускорители, сама модель, серверное ПО для инференса, батчинг (то, как запросы группируются перед обработкой) и сеть.
Авторы сравнивают привычные бенчмарки с покупкой машины по максимальной скорости на спидометре, без единой тест-драйв поездки. Один пиковый балл говорит лишь о том, как система справилась с конкретным тестом. Для облаков, производителей серверов и «неооблаков» (новых компаний, которые сдают GPU в аренду) это превращается в гонку настроек под тест, слабо связанную с пользой для бизнеса.
Вместо одной цифры v1.0 строит фронт Парето: набор реально измеренных режимов, где виден компромисс между пропускной способностью и задержкой. Данные не оценивают и не интерполируют, то есть линию между точками не дорисовывают. Итог показывает визуализация MLPerf LoadStair: ступенчатый график с «обрывами» производительности, то есть уровнями нагрузки, после которых клиентам становится заметно хуже.
Есть плюс и для инженеров. Если вы написали собственный планировщик запросов или оптимизировали сетевую фабрику, классические бенчмарки этого часто не замечают. Здесь такие улучшения меняют итоговую кривую.
Что именно измеряют: нагрузки и «7 замеров»
В v1.0 заявлены не синтетические задачи, а сценарии, близкие к тому, что клиенты запускают сейчас. Первый набор — разовая суммаризация текста: Llama 3.1 8B Instruct и GPT-OSS 120B, датасет новостей CNN/DailyMail, плюс сложные задачи по математике и науке, где модель долго генерирует токены. Второй набор — агентный кодинг с многоходовыми диалогами: Qwen 3.6, Kimi K3 и DeepSeek V4 Pro. Для него взяты 613 траекторий, где контекст растёт от шага к шагу. Агенты нагружают сервис иначе, чем разовые запросы: накапливающийся контекст сильнее давит на память и задержки.
Под «замером» здесь понимается один прогон на выбранном уровне параллельности, то есть при заданном числе одновременных запросов. Из таких точек и складывается кривая. Для агентных тестов поставщик обязан снять ровно 7 точек, для остальных наборов — от 8 до 32, включая отдельный офлайн-прогон.
Основные метрики: пропускная способность в токенах в секунду и время до первого токена по 90-му перцентилю (TTFT P90). Проще говоря, это срок, в который укладываются 90% запросов. Кроме того, в v1.0 появилась нормализация по мощности: участники указывают выделенную мощность системы в файле system_power.json.
Как отправить результаты
Авторы обещают заметно меньше инженерной возни, чем в прежних бенчмарках. Нужно подписать лицензионное соглашение MLCommons (CLA), получить ключ PRISM API через аккаунт участника и установить референсные клиенты. Затем планируют точки нагрузки и запускают тесты инструментом inference-endpoint. Дальше собирают пакет с файлами system_desc.json (конфигурация железа и софта) и system_power.json, прогоняют локальные проверки через CLI и загружают результат. Система сама создаёт ID заявки и pull request для рецензирования в закрытом репозитории MLCommons.
Подачи идут непрерывно, а публикации выходят когортами раз в несколько недель. Результаты проходят рецензию отраслевых конкурентов и сторонний аудит. Новое правило: предварительные результаты можно показать сразу после автоматической проверки, до рецензии. Итоговые данные при необходимости держат под эмбарго, чтобы выпустить их вместе с запуском продукта.
Что это значит на практике
Если вы выбираете провайдера инференса или облако, смотрите не на максимум, а на кривую под нагрузкой и на точку, где она ломается. Для агентных продуктов это особенно важно: длинные контексты чаще всего и вызывают просадки.
Ограничения тоже есть. Бенчмарк только запущен, сколько результатов уже опубликовано, источник не сообщает, а набор задач пока сводится к суммаризации и кодингу. Рецензируют участники рынка друг друга, поэтому ценность тестов зависит от того, сколько поставщиков реально подаст свои системы. Но сама идея измерять сервис так, как его используют клиенты, полезнее очередной гонки за пиковым баллом.
- 21 нояб. 2026 г.Meta готовит ИИ-тамагочи Muse Charm за $300 с годом 5G от Verizon
- 21 нояб. 2026 г.Unsloth обновила сжатые Qwen3.8-27B: точность выросла на 5–10% при том же размере
- 21 нояб. 2026 г.Apple строит ИИ-агента для Mac и усложнила доступ чужим: 14 кликов вместо 4
- 21 нояб. 2026 г.GPT-6 Astra стала отмечать цели для дронов в 92% запросов вместо 6% после фразы «это игра»
Вопросы и ответы по материалу
Что известно по теме: что изменилось по сравнению с прежним MLPerf?
Раньше MLPerf в основном измерял отдельное железо. Endpoints берёт живой API-эндпоинт, то есть адрес, по которому клиенты отправляют запросы, и нагружает его по-боевому. В результат попадает весь стек: ускорители, сама модель, серверное ПО для инференса, батчинг (то, как запросы группируются перед обработкой) и сеть. Авторы сравнивают привычные бенчмарки с покупкой машины по максимальной скорости на спидометре, без единой тест-драйв поездки.
Что известно по теме: что именно измеряют: нагрузки и «7 замеров»?
В v1.0 заявлены не синтетические задачи, а сценарии, близкие к тому, что клиенты запускают сейчас. Первый набор — разовая суммаризация текста: Llama 3.1 8B Instruct и GPT-OSS 120B, датасет новостей CNN/DailyMail, плюс сложные задачи по математике и науке, где модель долго генерирует токены. Второй набор — агентный кодинг с многоходовыми диалогами: Qwen 3.6, Kimi K3 и DeepSeek V4 Pro. Для него взяты 613 траекторий, где контекст растёт от шага к шагу.
Что известно по теме: как отправить результаты?
Авторы обещают заметно меньше инженерной возни, чем в прежних бенчмарках. Нужно подписать лицензионное соглашение MLCommons (CLA), получить ключ PRISM API через аккаунт участника и установить референсные клиенты. Затем планируют точки нагрузки и запускают тесты инструментом inference-endpoint. Дальше собирают пакет с файлами system_desc.json (конфигурация железа и софта) и system_power.json, прогоняют локальные проверки через CLI и загружают результат.
От чтения про ИИ-агентов — к запуску своего агента за вечер
Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.