AWS adiciona ao SageMaker um ranking com 70+ modelos: qualidade, velocidade e preço na mesma tabela
Antes, escolher um modelo no SageMaker JumpStart exigia ler os cards e comparar benchmarks medidos em condições diferentes. Agora a própria AWS rodou 70+ modelos em três testes de raciocínio (BBH, GPQA Diamond, MMLU-Pro) e mediu a velocidade de resposta e o preço da instância. No exemplo de um bot de help-desk, o modelo médio fica quase empatado com o grande, mas custa $5,75 por hora em vez de $37,66. A tabela serve de base para uma shortlist; a decisão final deve ser validada com os seus próprios dados.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Imagine que você está criando um bot interno para o suporte e abre o catálogo do SageMaker JumpStart, com centenas de modelos abertos. Por onde começar? Até agora, era preciso ler os cards um a um, procurar resultados de testes que cada equipe mediu com prompts, configurações e hardware diferentes, e estimar no olho quanto o modelo custaria no seu caso.
A Amazon resolveu esse problema: o SageMaker Studio ganhou o Model Leaderboard, uma tabela que compara 70+ modelos (Meta, Google, Qwen, IBM, Arcee e outros) em qualidade, velocidade e preço. A AWS obteve todos os números por conta própria e com uma única metodologia, então eles podem ser comparados lado a lado. Para o desenvolvedor, isso economiza tempo na primeira etapa da escolha: a lista de candidatos sai em minutos, e não depois de uma noite de comparações manuais.
O que a tabela mostra
O leaderboard é uma nova aba na página de modelos de base do JumpStart, ao lado de «Categories» e «All models». A busca e os filtros continuam os mesmos, e a aba abre direto no ranking de grandes modelos de linguagem.
Há dois tipos de dados. O primeiro é a qualidade em três benchmarks públicos, ou seja, conjuntos padronizados de perguntas com respostas conhecidas. O BIG-Bench Hard avalia raciocínio em várias etapas: inferência lógica, rastreamento de objetos, aritmética. O GPQA Diamond reúne perguntas científicas de nível de mestrado, difíceis de resolver só com uma busca. O MMLU-Pro traz testes difíceis de múltipla escolha sobre uma ampla gama de temas: ciência, direito, engenharia. Nos três, quanto maior a nota, melhor. As notas não são somadas em uma pontuação única: você pode olhar o teste mais próximo da sua tarefa.
O segundo tipo é velocidade e custo. A AWS envia uma carga de teste padrão a um endpoint implantado com cada configuração do JumpStart e mede o tempo até o primeiro token (quanto o usuário espera até a resposta começar a aparecer, o que importa em chats), a velocidade de geração em tokens por segundo (importante para processamento em lote) e o preço da instância por hora.
Perfil de carga e objetivo de otimização
Há dois menus acima da tabela. O perfil de use case (padrão: Max Context) altera apenas os números de velocidade e preço; as notas de qualidade permanecem as mesmas. O objetivo de otimização define a configuração de implantação:
- Balanced — o menor preço estimado por token;
- Cost optimized — a instância mais barata por hora, mas a latência pode ser maior;
- Latency optimized — o menor tempo até o primeiro token;
- Throughput optimized — a maior vazão, possivelmente com speculative decoding.
Para um chatbot voltado ao cliente, a AWS recomenda começar por Latency optimized; para o processamento noturno de documentos, servem Throughput ou Cost optimized. As colunas são destacadas em azul: quanto mais escuro, melhor o resultado. A tabela pode ser ordenada, colunas desnecessárias podem ser ocultadas, e a página tem um link próprio para compartilhar com a equipe.
Exemplo: bot de help-desk
A AWS apresenta um exemplo hipotético: é preciso um modelo com licença comercial e orçamento previsível. Depois de aplicar o filtro e escolher o perfil de chat com Latency optimized, o quadro é este. Modelo A (grande): BBH 95,9, MMLU-Pro 87,2, primeiro token em 2,33 s, 37 tokens/s, $37,66 por hora. Modelo B (médio): 94,2 e 84,9, 0,98 s, 44 tokens/s, $5,75 por hora. Modelo C (pequeno): 77,4 e 66,1, 0,27 s, 61 tokens/s, $2,61 por hora. É uma ilustração, não dados de modelos reais.
Conclusão: o modelo B fica quase no mesmo nível do grande em qualidade, responde mais rápido e custa cerca de 6,5 vezes menos. Para um help-desk, em que raciocinar e responder rápido pesa mais do que espremer os últimos pontos de conhecimento geral, esse é o melhor ponto de partida. Vale manter o modelo C como uma opção reserva barata.
Limitações
O custo considera apenas o preço da instância SageMaker na tarifa on-demand. Transferência de dados, armazenamento, inference components e descontos como Reserved Instances e Savings Plans não entram na conta, então a fatura real será diferente.
Os benchmarks medem capacidades gerais, e não o seu produto. Os dois ou três melhores candidatos precisam ser testados com os seus dados e prompts. Notas próximas devem ser tratadas como empate: a diferença pode caber na variação normal entre execuções. Modelos de raciocínio e modelos comuns são avaliados com parâmetros de geração diferentes, e o GPQA Diamond dos modelos de raciocínio é calculado pela média de 10 execuções, por isso a comparação entre esses dois tipos é aproximada. As métricas valem para a configuração em que foram medidas, então o ideal é implantar o modelo com o mesmo perfil e o mesmo objetivo.
A cobertura ainda é incompleta: nem todo modelo do JumpStart tem avaliações, e a ausência de nota não significa que o modelo seja fraco, apenas que ele não foi testado. No lançamento, a tabela inclui só LLMs.
O que vem a seguir
A AWS planeja oferecer suporte a hubs privados do JumpStart, para que as organizações vejam o ranking apenas dos modelos aprovados, além de leaderboards separados para detecção de objetos, embeddings de texto e compreensão de imagens.
A ordem prática é esta: primeiro filtre pelos requisitos rígidos (licença, provedor, modalidades), depois ordene pelo benchmark que importa, escolha o perfil e o objetivo de otimização e, por fim, implante dois ou três modelos e teste-os com solicitações reais.
- 19 de nov. de 2026Exa melhora em 47% a velocidade e o custo de embeddings em chips AWS Inferentia2
- 18 de nov. de 2026AWS integra o Dynamo ao HyperPod: Qwen3-235B entrega 207 tokens/s por GPU, em vez de 101
- 18 de nov. de 2026Novo modelo Jev responde em 150 ms, contra 1,89 s do GPT-6 Astra
- 18 de nov. de 2026AWS mostra como liberar agentes do Bedrock para APIs privadas por meio de um firewall central
Perguntas frequentes sobre a notícia
O que a tabela mostra?
O leaderboard é uma nova aba na página de modelos de base do JumpStart, ao lado de «Categories» e «All models». A busca e os filtros continuam os mesmos, e a aba abre direto no ranking de grandes modelos de linguagem. Há dois tipos de dados. O primeiro é a qualidade em três benchmarks públicos, ou seja, conjuntos padronizados de perguntas com respostas conhecidas. O BIG-Bench Hard avalia raciocínio em várias etapas: inferência lógica, rastreamento de objetos, aritmética.
O que se sabe sobre Perfil de carga e objetivo de otimização?
Há dois menus acima da tabela. O perfil de use case (padrão: Max Context) altera apenas os números de velocidade e preço; as notas de qualidade permanecem as mesmas. O objetivo de otimização define a configuração de implantação: Balanced — o menor preço estimado por token; Cost optimized — a instância mais barata por hora, mas a latência pode ser maior; Latency optimized — o menor tempo até o primeiro token; Throughput optimized — a maior vazão, possivelmente com speculative decoding.
O que se sabe sobre Exemplo: bot de help-desk?
A AWS apresenta um exemplo hipotético: é preciso um modelo com licença comercial e orçamento previsível. Depois de aplicar o filtro e escolher o perfil de chat com Latency optimized, o quadro é este. Modelo A (grande): BBH 95,9, MMLU-Pro 87,2, primeiro token em 2,33 s, 37 tokens/s, $37,66 por hora. Modelo B (médio): 94,2 e 84,9, 0,98 s, 44 tokens/s, $5,75 por hora. Modelo C (pequeno): 77,4 e 66,1, 0,27 s, 61 tokens/s, $2,61 por hora. É uma ilustração, não dados de modelos reais.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.