Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAPI / Produto · Pronto p/ usoMLCommons→ original

MLCommons começou a medir APIs de IA sob carga real: 7 medições para agentes

A MLCommons, responsável pelos testes MLPerf, costumava comparar chips em laboratório, mas o comprador precisa saber como uma API de IA pronta se comporta sob carga. O novo MLPerf Endpoints v1.0 avalia o serviço como um todo: hardware, modelo, software de servidor e rede. Para tarefas de agentes, o provedor faz exatamente 7 medições com diferentes números de requisições simultâneas, o que deixa claro onde a velocidade despenca. Por isso, vale comparar provedores pela curva, e não pela pontuação de pico.

Processado por IA de MLCommons; editado por Hamidun News
MLCommons começou a medir APIs de IA sob carga real: 7 medições para agentes
Fonte: MLCommons. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalMLCommons ↗
Editor-chefe
Dado-chave #1Codificação agêntica é testada em 613 cenários de múltiplas etapas
Dado-chave #2Testes comuns exigem de 8 a 32 medições, incluindo uma execução offline
Tempo até o primeiro token90% das requisições ficam dentro desse prazo

Imagine que você está escolhendo onde rodar um modelo para o seu produto: um provedor mostra na tabela uma velocidade recorde, enquanto outro tem números mais modestos. O problema é que o recorde geralmente é medido em um acelerador perfeitamente configurado, sem usuários reais. Quando centenas de clientes batem ao mesmo tempo em uma API pronta, o quadro pode ser completamente diferente. O consórcio MLCommons, que desenvolve os testes de referência MLPerf, lançou o MLPerf Endpoints v1.0 para fechar essa lacuna: o teste não mede o chip, mas o serviço em funcionamento como um todo, do jeito que os compradores o utilizam.

O que mudou em relação ao MLPerf anterior

Antes, o MLPerf media principalmente o hardware isoladamente. O Endpoints pega um endpoint de API ativo, ou seja, o endereço para onde os clientes enviam requisições, e o submete a uma carga de uso real. O resultado abrange toda a pilha: aceleradores, o próprio modelo, o software de inferência no servidor, o batching (a forma como as requisições são agrupadas antes do processamento) e a rede.

Os autores comparam os benchmarks tradicionais a comprar um carro pela velocidade máxima no velocímetro, sem nenhum test-drive. Uma pontuação de pico diz apenas como o sistema se saiu em um teste específico. Para nuvens, fabricantes de servidores e os "neoclouds" (empresas novas que alugam GPUs), isso vira uma corrida por ajustes voltados ao teste, pouco relacionada ao benefício para o negócio.

Em vez de um único número, a v1.0 constrói uma fronteira de Pareto: um conjunto de regimes efetivamente medidos, mostrando o compromisso entre vazão e latência. Os dados não são estimados nem interpolados, ou seja, a linha entre os pontos não é desenhada artificialmente. O resultado aparece na visualização MLPerf LoadStair: um gráfico em degraus com "quedas" de desempenho, isto é, níveis de carga a partir dos quais os clientes percebem uma piora clara.

Há também um benefício para os engenheiros. Se você desenvolveu um escalonador próprio de requisições ou otimizou a fabric de rede, os benchmarks clássicos frequentemente não percebem isso. Aqui, essas melhorias mudam a curva final.

O que exatamente é medido: cargas e "7 medições"

Na v1.0, as tarefas não são sintéticas: são cenários próximos do que os clientes executam hoje. O primeiro conjunto é a sumarização pontual de textos, com Llama 3.1 8B Instruct e GPT-OSS 120B, o dataset de notícias CNN/DailyMail e tarefas complexas de matemática e ciência, em que o modelo gera muitos tokens. O segundo conjunto é a codificação agêntica com diálogos de múltiplas etapas, usando Qwen 3.6, Kimi K3 e DeepSeek V4 Pro. Para isso, foram selecionadas 613 trajetórias em que o contexto cresce a cada passo. Agentes sobrecarregam o serviço de forma diferente das requisições pontuais: o contexto acumulado pressiona mais a memória e as latências.

Neste caso, uma "medição" é uma execução em um nível escolhido de paralelismo, isto é, com um número definido de requisições simultâneas. É a partir desses pontos que a curva se forma. Para os testes agênticos, o fornecedor deve registrar exatamente 7 pontos; para os demais conjuntos, entre 8 e 32, incluindo uma execução offline separada.

As métricas principais são a vazão em tokens por segundo e o tempo até o primeiro token no 90º percentil (TTFT P90), ou seja, o prazo dentro do qual 90% das requisições são concluídas. Além disso, a v1.0 introduziu a normalização por potência: os participantes informam a potência dedicada do sistema no arquivo system_power.json.

Como enviar os resultados

Os autores prometem bem menos trabalho de engenharia do que nos benchmarks anteriores. É preciso assinar o contrato de licença da MLCommons (CLA), obter uma chave da PRISM API pela conta de participante e instalar os clientes de referência. Em seguida, planeja-se os pontos de carga e executa-se os testes com a ferramenta inference-endpoint. Depois, monta-se o pacote com os arquivos system_desc.json (configuração de hardware e software) e system_power.json, faz-se as verificações locais pela CLI e envia-se o resultado. O sistema gera automaticamente o ID da submissão e um pull request para revisão em um repositório fechado da MLCommons.

As submissões são contínuas, enquanto as publicações saem em grupos a cada poucas semanas. Os resultados passam pela revisão de concorrentes do setor e por auditoria independente. Há uma nova regra: resultados preliminares podem ser mostrados logo após a checagem automática, antes da revisão. Os dados finais podem ser mantidos sob embargo, para serem divulgados junto com o lançamento de um produto.

O que isso significa na prática

Se você está escolhendo um provedor de inferência ou uma nuvem, olhe não para o máximo, mas para a curva sob carga e para o ponto em que ela se rompe. Para produtos agênticos, isso é especialmente importante: contextos longos são justamente o que mais costuma causar quedas de desempenho.

Há também limitações. O benchmark acabou de ser lançado, a fonte não informa quantos resultados já foram publicados, e o conjunto de tarefas se resume, por enquanto, a sumarização e codificação. Os participantes do mercado revisam uns aos outros, então o valor dos testes depende de quantos fornecedores de fato submetam seus sistemas. Ainda assim, a ideia de medir o serviço da forma como os clientes o utilizam é mais útil do que mais uma corrida pela pontuação de pico.

História

Perguntas frequentes sobre a notícia

O que mudou em relação ao MLPerf anterior?

Antes, o MLPerf media principalmente o hardware isoladamente. O Endpoints pega um endpoint de API ativo, ou seja, o endereço para onde os clientes enviam requisições, e o submete a uma carga de uso real. O resultado abrange toda a pilha: aceleradores, o próprio modelo, o software de inferência no servidor, o batching (a forma como as requisições são agrupadas antes do processamento) e a rede.

O que exatamente é medido: cargas e "7 medições"?

Na v1.0, as tarefas não são sintéticas: são cenários próximos do que os clientes executam hoje. O primeiro conjunto é a sumarização pontual de textos, com Llama 3.1 8B Instruct e GPT-OSS 120B, o dataset de notícias CNN/DailyMail e tarefas complexas de matemática e ciência, em que o modelo gera muitos tokens. O segundo conjunto é a codificação agêntica com diálogos de múltiplas etapas, usando Qwen 3.6, Kimi K3 e DeepSeek V4 Pro. Para isso, foram selecionadas 613 trajetórias em que o contexto cresce a cada passo.

Como enviar os resultados?

Os autores prometem bem menos trabalho de engenharia do que nos benchmarks anteriores. É preciso assinar o contrato de licença da MLCommons (CLA), obter uma chave da PRISM API pela conta de participante e instalar os clientes de referência. Em seguida, planeja-se os pontos de carga e executa-se os testes com a ferramenta inference-endpoint.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
O que você acha?
Carregando comentários…