AWS добавила в SageMaker рейтинг из 70+ моделей: качество, скорость и цена в одной таблице
Раньше выбор модели в SageMaker JumpStart требовал читать карточки и сверять бенчмарки, снятые в разных условиях. Теперь AWS сама прогнала 70+ моделей через три теста на рассуждение (BBH, GPQA Diamond, MMLU-Pro) и замерила скорость ответа и цену инстанса. В примере для help-desk бота средняя модель почти равна большой, но стоит $5,75 в час вместо $37,66. Это основа для шорт-листа, финал проверяйте на своих данных.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Представьте, что вы делаете внутреннего бота для службы поддержки и открываете каталог SageMaker JumpStart, где сотни открытых моделей. С какой начать? Раньше приходилось читать карточки по одной, искать результаты тестов, которые разные команды снимали на разных промптах, настройках и железе, и на глаз прикидывать, сколько модель будет стоить именно у вас. Amazon закрыла эту проблему: в SageMaker Studio появился Model Leaderboard — таблица, где 70+ моделей (Meta, Google, Qwen, IBM, Arcee и другие) сравниваются по качеству, скорости и цене. Все цифры AWS получила сама и по одной методике, поэтому их можно класть рядом. Для разработчика это экономия времени на первом этапе выбора: короткий список кандидатов получается за минуты, а не за вечер ручной сверки.
Что показывает таблица
Лидерборд — новая вкладка на странице базовых моделей JumpStart, рядом с «Categories» и «All models». Поиск и фильтры прежние, а открывается она сразу на рейтинге больших языковых моделей.
Данные двух типов. Первый — качество на трёх публичных бенчмарках, то есть стандартных наборах вопросов с известными ответами. BIG-Bench Hard проверяет многошаговые рассуждения: логические выводы, отслеживание объектов, арифметику. GPQA Diamond — научные вопросы уровня магистратуры, которые трудно найти поиском. MMLU-Pro — сложные тесты с выбором ответа по широкому кругу тем: наука, право, инженерия. Во всех трёх чем выше, тем лучше. Оценки не сливаются в один балл: можно смотреть на тот тест, который ближе вашей задаче.
Второй тип — скорость и стоимость. AWS отправляет стандартную тестовую нагрузку на эндпоинт, развёрнутый с каждой конфигурацией JumpStart, и замеряет время до первого токена (как долго пользователь ждёт начала ответа, важно для чатов), скорость генерации в токенах в секунду (важно для пакетной обработки) и цену инстанса в час.
Профиль нагрузки и цель оптимизации
Над таблицей два меню. Профиль use case (по умолчанию Max Context) меняет только цифры скорости и цены, а оценки качества остаются теми же. Цель оптимизации выбирает конфигурацию развёртывания:
- Balanced — самая низкая оценочная цена за токен;
- Cost optimized — самый дешёвый инстанс в час, но задержка может быть выше;
- Latency optimized — минимальное время до первого токена;
- Throughput optimized — максимальная пропускная способность, возможно со speculative decoding.
Для клиентского чат-бота AWS советует начать с Latency optimized, для ночной обработки документов подойдут Throughput или Cost optimized. Колонки подсвечены синим: чем темнее, тем лучше результат. Таблицу можно сортировать, лишние колонки скрывать, а у страницы есть собственная ссылка для команды.
Пример: бот для help-desk
AWS приводит условный пример: нужна модель с коммерческой лицензией и предсказуемым бюджетом. После фильтра и выбора чатового профиля с Latency optimized получается такая картина. Модель A (большая): BBH 95,9, MMLU-Pro 87,2, первый токен через 2,33 с, 37 токенов/с, $37,66 в час. Модель B (средняя): 94,2 и 84,9, 0,98 с, 44 токена/с, $5,75 в час. Модель C (малая): 77,4 и 66,1, 0,27 с, 61 токен/с, $2,61 в час. Это иллюстрация, а не данные реальных моделей.
Вывод: модель B почти не уступает большой по качеству, отвечает быстрее и стоит примерно в 6,5 раза меньше. Для help-desk, где важнее рассуждать и отвечать быстро, чем выжимать последние баллы общих знаний, это лучший старт. Модель C стоит держать как дешёвый запасной вариант.
Ограничения
Стоимость учитывает только цену инстанса SageMaker по on-demand тарифу. Передача данных, хранение, inference components и скидки вроде Reserved Instances и Savings Plans не входят, так что реальный счёт будет другим.
Бенчмарки измеряют общие способности, а не ваш продукт. Двух-трёх лучших кандидатов нужно прогнать на своих данных и промптах. Близкие оценки лучше считать ничьей: разница может укладываться в обычный разброс между запусками. Рассуждающие и обычные модели оцениваются с разными параметрами генерации, а GPQA Diamond для рассуждающих усредняется по 10 проходам, поэтому сравнение между этими типами приблизительное. Метрики относятся к той конфигурации, на которой замерены, так что разворачивать модель стоит с теми же профилем и целью.
Покрытие пока неполное: не у каждой модели JumpStart есть оценки, а отсутствие балла не означает, что модель слабая — её просто не прогнали. На старте в таблице только LLM.
Что дальше
AWS планирует поддержку приватных хабов JumpStart, чтобы организации видели рейтинг только одобренных моделей, и отдельные лидерборды для детекции объектов, текстовых эмбеддингов и понимания изображений.
Практический порядок такой: сначала отфильтруйте по жёстким требованиям (лицензия, провайдер, модальности), затем отсортируйте по нужному бенчмарку, выберите профиль и цель оптимизации, а после разверните две-три модели и проверьте их на реальных запросах.
- 19 нояб. 2026 г.Exa на 47% улучшила скорость и цену эмбеддингов на чипах AWS Inferentia2
- 18 нояб. 2026 г.AWS встроил Dynamo в HyperPod: Qwen3-235B выдаёт 207 вместо 101 токена/с на GPU
- 18 нояб. 2026 г.Новая модель Jev отвечает за 150 мс вместо 1,89 с у GPT-6 Astra
- 18 нояб. 2026 г.AWS показала, как пустить агентов Bedrock к частным API через центральный файрвол
Вопросы и ответы по материалу
Что известно по теме: что показывает таблица?
Лидерборд — новая вкладка на странице базовых моделей JumpStart, рядом с «Categories» и «All models». Поиск и фильтры прежние, а открывается она сразу на рейтинге больших языковых моделей. Данные двух типов. Первый — качество на трёх публичных бенчмарках, то есть стандартных наборах вопросов с известными ответами. BIG-Bench Hard проверяет многошаговые рассуждения: логические выводы, отслеживание объектов, арифметику. GPQA Diamond — научные вопросы уровня магистратуры, которые трудно найти поиском.
Что известно по теме: профиль нагрузки и цель оптимизации?
Над таблицей два меню. Профиль use case (по умолчанию Max Context) меняет только цифры скорости и цены, а оценки качества остаются теми же. Цель оптимизации выбирает конфигурацию развёртывания: Balanced — самая низкая оценочная цена за токен; Cost optimized — самый дешёвый инстанс в час, но задержка может быть выше; Latency optimized — минимальное время до первого токена; Throughput optimized — максимальная пропускная способность, возможно со speculative decoding.
Что известно по теме: пример: бот для help-desk?
AWS приводит условный пример: нужна модель с коммерческой лицензией и предсказуемым бюджетом. После фильтра и выбора чатового профиля с Latency optimized получается такая картина. Модель A (большая): BBH 95,9, MMLU-Pro 87,2, первый токен через 2,33 с, 37 токенов/с, $37,66 в час. Модель B (средняя): 94,2 и 84,9, 0,98 с, 44 токена/с, $5,75 в час. Модель C (малая): 77,4 и 66,1, 0,27 с, 61 токен/с, $2,61 в час. Это иллюстрация, а не данные реальных моделей.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.