Artificial Analysis identifica perdas de qualidade em 24 de 103 endpoints de API

O nome do modelo nas configurações da API ainda não garante a qualidade esperada. Um agente pode escolher corretamente a ferramenta, mas o provedor passa os argumentos em formato errado. Ou o modelo gasta toda a resposta disponível em raciocínio e não chega ao resultado. Para o usuário, os dois casos parecem iguais: o produto não resolveu a tarefa.

A Artificial Analysis atualizou o Endpoint Accuracy Index para a versão 1.1. Dos 103 endpoints de servidor verificados, 24 ficaram estatisticamente abaixo da implantação de referência do respectivo modelo. Isso corresponde a cerca de 23% da amostra. A conclusão prática para as equipes: ao escolher uma API, é preciso testar o provedor específico, mesmo que o modelo em si já tenha passado nos seus testes.

Onde a qualidade se perde

Um caso ilustrativo é o GLM-5.3 Flash. Em dois endpoints, a resposta máxima é limitada a cerca de 32 mil tokens. Aproximadamente metade das respostas às perguntas difíceis do HLE-250 esbarrava nesse teto antes de chegar ao resultado. A proporção de respostas corretas foi de 22,3% e 28,5%, enquanto a implantação de referência atingiu 55,4%.

Há também limitações menos evidentes. Outros dois endpoints do mesmo modelo geraram cerca de 30% menos tokens de raciocínio, sem corte visível da resposta. Seus resultados no HLE-250 foram de 48,4% e 48,6%. Só com essa observação não é possível determinar a causa interna, mas para o desenvolvedor a diferença é relevante: as mesmas configurações solicitadas não produziram o mesmo comportamento.

Com as ferramentas, o problema às vezes é bem banal. Imagine um serviço de reservas em que o identificador do pedido deve chegar como string. Dois endpoints do Muse Spark Open devolviam esses argumentos como números. Em um cenário de várias etapas, isso basta para que a chamada deixe de respeitar o contrato da ferramenta. No teste BFCL-500, eles obtiveram 49,9% e 50,7%, contra 59,1% da referência.

Outras falhas encontradas incluíram nomes de parâmetros corrompidos, objetos na forma de strings JSON e reutilização de identificadores de chamadas de ferramentas. Em um endpoint do Kimi K3, as requisições eram interrompidas após cerca de dez minutos: aproximadamente 9% das tarefas do HLE-250 terminavam sem resposta do modelo.

O que o índice mede

Cada endpoint passa por três verificações: chamadas de ferramentas, perguntas científicas complexas e busca de informações em contexto longo, com cerca de 100 mil tokens de entrada. O resultado de cada verificação é dividido pelo resultado da execução de referência, expresso em porcentagem e calculado em média com pesos iguais.

Por isso, um valor de 100% no índice significa o nível da referência, e não precisão de 100% nas respostas. Um valor acima de 100% também não prova a superioridade do provedor: é preciso observar o intervalo de incerteza. Os autores consideram um endpoint atrasado quando todo o seu intervalo de confiança de 95% está abaixo de 100%.

Na versão 1.1, o número de repetições na verificação de contexto longo aumentou de 10 para 25, as chaves de resposta de duas perguntas foram corrigidas e o modelo de verificação de correspondências foi atualizado. Na amostra geral, o erro médio dessa verificação caiu de ±4,7 para ±2,6 pontos percentuais. Os resultados de versões diferentes não podem ser comparados diretamente.

Ao mesmo tempo, atribuir todas as perdas à quantização seria um erro. Os três endpoints do GLM-5.3 Flash com pesos FP4 ficaram estatisticamente no nível da referência FP8. Já no DeepSeek V4.1 Flash 1017, todos os 22 endpoints verificados corresponderam à referência dentro da margem de incerteza.

O que verificar antes de conectar uma API

Para as equipes, o índice é útil como filtro antes dos testes próprios. Verifique o comprimento máximo da resposta, o timeout da requisição, o encerramento correto do stream e os tipos reais dos argumentos das ferramentas. Depois, execute algumas tarefas típicas do produto de ponta a ponta: da solicitação do usuário até a última ação do agente. A verificação de uma resposta isolada não mostrará o que vai quebrar na terceira chamada de ferramenta.

As limitações do estudo são significativas. Três testes não descrevem todas as cargas de trabalho, e a ausência de atraso estatisticamente significativo não garante igualdade total. As medições foram feitas de 8 de outubro a 4 de novembro de 2026; as configurações dos provedores podem ter mudado desde então. Preço e latência continuam sendo critérios importantes, mas a qualidade de um endpoint específico agora pode ser verificada separadamente — e essa verificação pode ser incluída no procedimento de troca de fornecedor.