Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
LançamentoArtigo científico · Para P&DAWS Machine Learning Blog→ original

AWS adiciona ao SageMaker um ranking com 70+ modelos: qualidade, velocidade e preço na mesma tabela

Antes, escolher um modelo no SageMaker JumpStart exigia ler os cards e comparar benchmarks medidos em condições diferentes. Agora a própria AWS rodou 70+ modelos em três testes de raciocínio (BBH, GPQA Diamond, MMLU-Pro) e mediu a velocidade de resposta e o preço da instância. No exemplo de um bot de help-desk, o modelo médio fica quase empatado com o grande, mas custa $5,75 por hora em vez de $37,66. A tabela serve de base para uma shortlist; a decisão final deve ser validada com os seus próprios dados.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
AWS adiciona ao SageMaker um ranking com 70+ modelos: qualidade, velocidade e preço na mesma tabela
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Dado-chave #1As notas de BBH, GPQA Diamond e MMLU-Pro aparecem separadas, sem pontuação geral
Dado-chave #2O preço considera apenas a instância SageMaker on-demand, sem tráfego, armazenamento e descontos
Dado-chave #3A latência até o primeiro token importa para chat; tokens/s importam para processamento em lote

Imagine que você está criando um bot interno para o suporte e abre o catálogo do SageMaker JumpStart, com centenas de modelos abertos. Por onde começar? Até agora, era preciso ler os cards um a um, procurar resultados de testes que cada equipe mediu com prompts, configurações e hardware diferentes, e estimar no olho quanto o modelo custaria no seu caso.

A Amazon resolveu esse problema: o SageMaker Studio ganhou o Model Leaderboard, uma tabela que compara 70+ modelos (Meta, Google, Qwen, IBM, Arcee e outros) em qualidade, velocidade e preço. A AWS obteve todos os números por conta própria e com uma única metodologia, então eles podem ser comparados lado a lado. Para o desenvolvedor, isso economiza tempo na primeira etapa da escolha: a lista de candidatos sai em minutos, e não depois de uma noite de comparações manuais.

O que a tabela mostra

O leaderboard é uma nova aba na página de modelos de base do JumpStart, ao lado de «Categories» e «All models». A busca e os filtros continuam os mesmos, e a aba abre direto no ranking de grandes modelos de linguagem.

Há dois tipos de dados. O primeiro é a qualidade em três benchmarks públicos, ou seja, conjuntos padronizados de perguntas com respostas conhecidas. O BIG-Bench Hard avalia raciocínio em várias etapas: inferência lógica, rastreamento de objetos, aritmética. O GPQA Diamond reúne perguntas científicas de nível de mestrado, difíceis de resolver só com uma busca. O MMLU-Pro traz testes difíceis de múltipla escolha sobre uma ampla gama de temas: ciência, direito, engenharia. Nos três, quanto maior a nota, melhor. As notas não são somadas em uma pontuação única: você pode olhar o teste mais próximo da sua tarefa.

O segundo tipo é velocidade e custo. A AWS envia uma carga de teste padrão a um endpoint implantado com cada configuração do JumpStart e mede o tempo até o primeiro token (quanto o usuário espera até a resposta começar a aparecer, o que importa em chats), a velocidade de geração em tokens por segundo (importante para processamento em lote) e o preço da instância por hora.

Perfil de carga e objetivo de otimização

Há dois menus acima da tabela. O perfil de use case (padrão: Max Context) altera apenas os números de velocidade e preço; as notas de qualidade permanecem as mesmas. O objetivo de otimização define a configuração de implantação:

  • Balanced — o menor preço estimado por token;
  • Cost optimized — a instância mais barata por hora, mas a latência pode ser maior;
  • Latency optimized — o menor tempo até o primeiro token;
  • Throughput optimized — a maior vazão, possivelmente com speculative decoding.

Para um chatbot voltado ao cliente, a AWS recomenda começar por Latency optimized; para o processamento noturno de documentos, servem Throughput ou Cost optimized. As colunas são destacadas em azul: quanto mais escuro, melhor o resultado. A tabela pode ser ordenada, colunas desnecessárias podem ser ocultadas, e a página tem um link próprio para compartilhar com a equipe.

Exemplo: bot de help-desk

A AWS apresenta um exemplo hipotético: é preciso um modelo com licença comercial e orçamento previsível. Depois de aplicar o filtro e escolher o perfil de chat com Latency optimized, o quadro é este. Modelo A (grande): BBH 95,9, MMLU-Pro 87,2, primeiro token em 2,33 s, 37 tokens/s, $37,66 por hora. Modelo B (médio): 94,2 e 84,9, 0,98 s, 44 tokens/s, $5,75 por hora. Modelo C (pequeno): 77,4 e 66,1, 0,27 s, 61 tokens/s, $2,61 por hora. É uma ilustração, não dados de modelos reais.

Conclusão: o modelo B fica quase no mesmo nível do grande em qualidade, responde mais rápido e custa cerca de 6,5 vezes menos. Para um help-desk, em que raciocinar e responder rápido pesa mais do que espremer os últimos pontos de conhecimento geral, esse é o melhor ponto de partida. Vale manter o modelo C como uma opção reserva barata.

Limitações

O custo considera apenas o preço da instância SageMaker na tarifa on-demand. Transferência de dados, armazenamento, inference components e descontos como Reserved Instances e Savings Plans não entram na conta, então a fatura real será diferente.

Os benchmarks medem capacidades gerais, e não o seu produto. Os dois ou três melhores candidatos precisam ser testados com os seus dados e prompts. Notas próximas devem ser tratadas como empate: a diferença pode caber na variação normal entre execuções. Modelos de raciocínio e modelos comuns são avaliados com parâmetros de geração diferentes, e o GPQA Diamond dos modelos de raciocínio é calculado pela média de 10 execuções, por isso a comparação entre esses dois tipos é aproximada. As métricas valem para a configuração em que foram medidas, então o ideal é implantar o modelo com o mesmo perfil e o mesmo objetivo.

A cobertura ainda é incompleta: nem todo modelo do JumpStart tem avaliações, e a ausência de nota não significa que o modelo seja fraco, apenas que ele não foi testado. No lançamento, a tabela inclui só LLMs.

O que vem a seguir

A AWS planeja oferecer suporte a hubs privados do JumpStart, para que as organizações vejam o ranking apenas dos modelos aprovados, além de leaderboards separados para detecção de objetos, embeddings de texto e compreensão de imagens.

A ordem prática é esta: primeiro filtre pelos requisitos rígidos (licença, provedor, modalidades), depois ordene pelo benchmark que importa, escolha o perfil e o objetivo de otimização e, por fim, implante dois ou três modelos e teste-os com solicitações reais.

História

Perguntas frequentes sobre a notícia

O que a tabela mostra?

O leaderboard é uma nova aba na página de modelos de base do JumpStart, ao lado de «Categories» e «All models». A busca e os filtros continuam os mesmos, e a aba abre direto no ranking de grandes modelos de linguagem. Há dois tipos de dados. O primeiro é a qualidade em três benchmarks públicos, ou seja, conjuntos padronizados de perguntas com respostas conhecidas. O BIG-Bench Hard avalia raciocínio em várias etapas: inferência lógica, rastreamento de objetos, aritmética.

O que se sabe sobre Perfil de carga e objetivo de otimização?

Há dois menus acima da tabela. O perfil de use case (padrão: Max Context) altera apenas os números de velocidade e preço; as notas de qualidade permanecem as mesmas. O objetivo de otimização define a configuração de implantação: Balanced — o menor preço estimado por token; Cost optimized — a instância mais barata por hora, mas a latência pode ser maior; Latency optimized — o menor tempo até o primeiro token; Throughput optimized — a maior vazão, possivelmente com speculative decoding.

O que se sabe sobre Exemplo: bot de help-desk?

A AWS apresenta um exemplo hipotético: é preciso um modelo com licença comercial e orçamento previsível. Depois de aplicar o filtro e escolher o perfil de chat com Latency optimized, o quadro é este. Modelo A (grande): BBH 95,9, MMLU-Pro 87,2, primeiro token em 2,33 s, 37 tokens/s, $37,66 por hora. Modelo B (médio): 94,2 e 84,9, 0,98 s, 44 tokens/s, $5,75 por hora. Modelo C (pequeno): 77,4 e 66,1, 0,27 s, 61 tokens/s, $2,61 por hora. É uma ilustração, não dados de modelos reais.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…