Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAPI / Produto · Pronto p/ usoX: @ArtificialAnlys→ original

GPT-6 Astra perde 5 pontos com esforço médio, mas resolve a tarefa três vezes mais rápido

A maioria dos laboratórios define na API um nível de reasoning effort abaixo do máximo, e isso reduz bastante o tempo por tarefa. Segundo a Artificial Analysis, o GPT-6 Astra com esforço médio marca 52 pontos no Intelligence Index contra 57 no máximo, mas conclui a tarefa em ~5,8 minutos em vez de ~18. No GPT-6.1 Sol, ao reduzir o esforço, o índice cai de 55 para 46.

Processado por IA de X: @ArtificialAnlys; editado por Hamidun News
GPT-6 Astra perde 5 pontos com esforço médio, mas resolve a tarefa três vezes mais rápido
Fonte: X: @ArtificialAnlys. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @ArtificialAnlys ↗
Editor-chefe
Dado-chave #1O padrão da API muitas vezes não é o máximo: verifique o seu
Astra52 contra 57 pontos, mas 5,8 contra ~18 minutos
O GPT-6.1 Sol sofre uma queda mais durade 55 para 46 pontos

Situação conhecida: você conecta um modelo de ponta, roda alguns testes e o agente fica pensando por minutos a fio. O usuário acaba fechando a aba. A culpa não é necessariamente do servidor. Com mais frequência, trata-se de uma configuração que muita gente não toca: o nível de reasoning effort, ou seja, quanto «tempo de raciocínio» o modelo gasta antes de responder.

Os analistas da Artificial Analysis lembraram no X que a maioria dos principais laboratórios define na API um padrão abaixo do esforço máximo. Isso reduz drasticamente o Time per Task, isto é, o tempo que o modelo gasta em uma tarefa inteira. A seguir, analisamos o que os números deles mostraram e o que fazer com eles.

O que os números mostraram

Primeiro exemplo: GPT-6 Astra. Com esforço médio, o modelo marca 52 pontos no Intelligence Index, e com o máximo, 57. A diferença é de cinco pontos, cerca de 9% do melhor resultado. Em troca, a tarefa no nível médio leva cerca de 5,8 minutos, contra cerca de 18 no máximo. O tempo cai aproximadamente a um terço, enquanto a qualidade recuou menos de um décimo.

Segundo exemplo: GPT-6.1 Sol. Aqui o quadro é mais duro: o índice cai de 55 para 46, ou seja, 9 pontos, ou cerca de 16%. A publicação é interrompida no número 3,9, por isso a unidade de medida e o nível exato de esforço não aparecem neste trecho. As conclusões sobre o Sol devem ser tiradas depois de ver a tabela completa no link do original.

Por que isso importa na prática

Imagine um agente de revisão de código. Ele recebe um pull request, lê os diffs, executa verificações e escreve comentários. Se cada execução leva 18 minutos, o desenvolvedor já mudou para outra coisa e o comentário chega ao vazio. Com 6 minutos ainda é tolerável. Nesse cenário, cinco pontos perdidos no índice geral muitas vezes não importam, mas uma latência três vezes menor é percebida de imediato.

O caso oposto: análise em lote noturna de incidentes complexos ou geração de uma migração em uma base de código grande. Ninguém espera diante da tela, e cada erro custa caro. Aqui o esforço máximo se justifica, porque o tempo quase não custa nada e o preço de um erro é alto.

Daí uma regra simples: o nível de esforço é um botão de produto, não um detalhe técnico menor. Ele deve ser escolhido de acordo com o cenário, e não deixado como veio de fábrica.

O que fazer

Primeiro: descubra qual padrão o seu provedor usa. Ele varia entre laboratórios, e com frequência os desenvolvedores passam anos com um valor que ninguém escolheu conscientemente.

Segundo: meça não apenas a qualidade, mas também o tempo por tarefa no seu próprio conjunto de tarefas. O índice geral é uma média de benchmarks, e o seu tráfego pode se comportar de outra forma. Execute as mesmas 50–100 requisições reais em vários níveis de esforço e compare a taxa de respostas bem-sucedidas e o tempo mediano.

Terceiro: considere o roteamento. Envie requisições simples para esforço baixo ou médio e escale para o máximo as complexas ou duvidosas. Assim você obtém velocidade na maioria dos casos e qualidade onde ela realmente é necessária.

Limitações

Esta é uma publicação curta no X, e não um relatório completo. Vemos apenas dois modelos, e parte dos dados do Sol está cortada. O Intelligence Index é uma métrica agregada, e em tarefas específicas a diferença entre os níveis de esforço pode ser sensivelmente maior ou menor. Além disso, o tempo depende da carga na infraestrutura do provedor, e os seus números serão diferentes.

Conclusão: não encare o esforço máximo como o modo padrão «correto». No caso do Astra, trocar cinco pontos por uma aceleração de três vezes parece vantajoso para cenários interativos. No caso do Sol, o preço é maior, e verificar com os seus próprios dados é especialmente importante.

História

Perguntas frequentes sobre a notícia

O que os números mostraram?

Primeiro exemplo: GPT-6 Astra. Com esforço médio, o modelo marca 52 pontos no Intelligence Index, e com o máximo, 57. A diferença é de cinco pontos, cerca de 9% do melhor resultado. Em troca, a tarefa no nível médio leva cerca de 5,8 minutos, contra cerca de 18 no máximo. O tempo cai aproximadamente a um terço, enquanto a qualidade recuou menos de um décimo. Segundo exemplo: GPT-6.1 Sol. Aqui o quadro é mais duro: o índice cai de 55 para 46, ou seja, 9 pontos, ou cerca de 16%.

Por que isso importa na prática?

Imagine um agente de revisão de código. Ele recebe um pull request, lê os diffs, executa verificações e escreve comentários. Se cada execução leva 18 minutos, o desenvolvedor já mudou para outra coisa e o comentário chega ao vazio. Com 6 minutos ainda é tolerável. Nesse cenário, cinco pontos perdidos no índice geral muitas vezes não importam, mas uma latência três vezes menor é percebida de imediato.

O que fazer?

Primeiro: descubra qual padrão o seu provedor usa. Ele varia entre laboratórios, e com frequência os desenvolvedores passam anos com um valor que ninguém escolheu conscientemente. Segundo: meça não apenas a qualidade, mas também o tempo por tarefa no seu próprio conjunto de tarefas. O índice geral é uma média de benchmarks, e o seu tráfego pode se comportar de outra forma. Execute as mesmas 50–100 requisições reais em vários níveis de esforço e compare a taxa de respostas bem-sucedidas e o tempo mediano.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…