Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
РазборНаучная статья · В песочницуAWS Machine Learning Blog→ оригинал

AWS добавила в SageMaker рейтинг из 70+ моделей: качество, скорость и цена в одной таблице

Раньше выбор модели в SageMaker JumpStart требовал читать карточки и сверять бенчмарки, снятые в разных условиях. Теперь AWS сама прогнала 70+ моделей через три теста на рассуждение (BBH, GPQA Diamond, MMLU-Pro) и замерила скорость ответа и цену инстанса. В примере для help-desk бота средняя модель почти равна большой, но стоит $5,75 в час вместо $37,66. Это основа для шорт-листа, финал проверяйте на своих данных.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
AWS добавила в SageMaker рейтинг из 70+ моделей: качество, скорость и цена в одной таблице
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Оценки BBH, GPQA Diamond и MMLU-Pro показаны отдельно, общего балла нет
Ключевой факт #2Цена — только on-demand инстанс SageMaker, без трафика, хранения и скидок
Ключевой факт #3Задержка до первого токена важна для чата, токены/с — для пакетной обработки

Представьте, что вы делаете внутреннего бота для службы поддержки и открываете каталог SageMaker JumpStart, где сотни открытых моделей. С какой начать? Раньше приходилось читать карточки по одной, искать результаты тестов, которые разные команды снимали на разных промптах, настройках и железе, и на глаз прикидывать, сколько модель будет стоить именно у вас. Amazon закрыла эту проблему: в SageMaker Studio появился Model Leaderboard — таблица, где 70+ моделей (Meta, Google, Qwen, IBM, Arcee и другие) сравниваются по качеству, скорости и цене. Все цифры AWS получила сама и по одной методике, поэтому их можно класть рядом. Для разработчика это экономия времени на первом этапе выбора: короткий список кандидатов получается за минуты, а не за вечер ручной сверки.

Что показывает таблица

Лидерборд — новая вкладка на странице базовых моделей JumpStart, рядом с «Categories» и «All models». Поиск и фильтры прежние, а открывается она сразу на рейтинге больших языковых моделей.

Данные двух типов. Первый — качество на трёх публичных бенчмарках, то есть стандартных наборах вопросов с известными ответами. BIG-Bench Hard проверяет многошаговые рассуждения: логические выводы, отслеживание объектов, арифметику. GPQA Diamond — научные вопросы уровня магистратуры, которые трудно найти поиском. MMLU-Pro — сложные тесты с выбором ответа по широкому кругу тем: наука, право, инженерия. Во всех трёх чем выше, тем лучше. Оценки не сливаются в один балл: можно смотреть на тот тест, который ближе вашей задаче.

Второй тип — скорость и стоимость. AWS отправляет стандартную тестовую нагрузку на эндпоинт, развёрнутый с каждой конфигурацией JumpStart, и замеряет время до первого токена (как долго пользователь ждёт начала ответа, важно для чатов), скорость генерации в токенах в секунду (важно для пакетной обработки) и цену инстанса в час.

Профиль нагрузки и цель оптимизации

Над таблицей два меню. Профиль use case (по умолчанию Max Context) меняет только цифры скорости и цены, а оценки качества остаются теми же. Цель оптимизации выбирает конфигурацию развёртывания:

  • Balanced — самая низкая оценочная цена за токен;
  • Cost optimized — самый дешёвый инстанс в час, но задержка может быть выше;
  • Latency optimized — минимальное время до первого токена;
  • Throughput optimized — максимальная пропускная способность, возможно со speculative decoding.

Для клиентского чат-бота AWS советует начать с Latency optimized, для ночной обработки документов подойдут Throughput или Cost optimized. Колонки подсвечены синим: чем темнее, тем лучше результат. Таблицу можно сортировать, лишние колонки скрывать, а у страницы есть собственная ссылка для команды.

Пример: бот для help-desk

AWS приводит условный пример: нужна модель с коммерческой лицензией и предсказуемым бюджетом. После фильтра и выбора чатового профиля с Latency optimized получается такая картина. Модель A (большая): BBH 95,9, MMLU-Pro 87,2, первый токен через 2,33 с, 37 токенов/с, $37,66 в час. Модель B (средняя): 94,2 и 84,9, 0,98 с, 44 токена/с, $5,75 в час. Модель C (малая): 77,4 и 66,1, 0,27 с, 61 токен/с, $2,61 в час. Это иллюстрация, а не данные реальных моделей.

Вывод: модель B почти не уступает большой по качеству, отвечает быстрее и стоит примерно в 6,5 раза меньше. Для help-desk, где важнее рассуждать и отвечать быстро, чем выжимать последние баллы общих знаний, это лучший старт. Модель C стоит держать как дешёвый запасной вариант.

Ограничения

Стоимость учитывает только цену инстанса SageMaker по on-demand тарифу. Передача данных, хранение, inference components и скидки вроде Reserved Instances и Savings Plans не входят, так что реальный счёт будет другим.

Бенчмарки измеряют общие способности, а не ваш продукт. Двух-трёх лучших кандидатов нужно прогнать на своих данных и промптах. Близкие оценки лучше считать ничьей: разница может укладываться в обычный разброс между запусками. Рассуждающие и обычные модели оцениваются с разными параметрами генерации, а GPQA Diamond для рассуждающих усредняется по 10 проходам, поэтому сравнение между этими типами приблизительное. Метрики относятся к той конфигурации, на которой замерены, так что разворачивать модель стоит с теми же профилем и целью.

Покрытие пока неполное: не у каждой модели JumpStart есть оценки, а отсутствие балла не означает, что модель слабая — её просто не прогнали. На старте в таблице только LLM.

Что дальше

AWS планирует поддержку приватных хабов JumpStart, чтобы организации видели рейтинг только одобренных моделей, и отдельные лидерборды для детекции объектов, текстовых эмбеддингов и понимания изображений.

Практический порядок такой: сначала отфильтруйте по жёстким требованиям (лицензия, провайдер, модальности), затем отсортируйте по нужному бенчмарку, выберите профиль и цель оптимизации, а после разверните две-три модели и проверьте их на реальных запросах.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что показывает таблица?

Лидерборд — новая вкладка на странице базовых моделей JumpStart, рядом с «Categories» и «All models». Поиск и фильтры прежние, а открывается она сразу на рейтинге больших языковых моделей. Данные двух типов. Первый — качество на трёх публичных бенчмарках, то есть стандартных наборах вопросов с известными ответами. BIG-Bench Hard проверяет многошаговые рассуждения: логические выводы, отслеживание объектов, арифметику. GPQA Diamond — научные вопросы уровня магистратуры, которые трудно найти поиском.

Что известно по теме: профиль нагрузки и цель оптимизации?

Над таблицей два меню. Профиль use case (по умолчанию Max Context) меняет только цифры скорости и цены, а оценки качества остаются теми же. Цель оптимизации выбирает конфигурацию развёртывания: Balanced — самая низкая оценочная цена за токен; Cost optimized — самый дешёвый инстанс в час, но задержка может быть выше; Latency optimized — минимальное время до первого токена; Throughput optimized — максимальная пропускная способность, возможно со speculative decoding.

Что известно по теме: пример: бот для help-desk?

AWS приводит условный пример: нужна модель с коммерческой лицензией и предсказуемым бюджетом. После фильтра и выбора чатового профиля с Latency optimized получается такая картина. Модель A (большая): BBH 95,9, MMLU-Pro 87,2, первый токен через 2,33 с, 37 токенов/с, $37,66 в час. Модель B (средняя): 94,2 и 84,9, 0,98 с, 44 токена/с, $5,75 в час. Модель C (малая): 77,4 и 66,1, 0,27 с, 61 токен/с, $2,61 в час. Это иллюстрация, а не данные реальных моделей.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…