Artificial Analysis lança HealthBench: GPT-6 Astra lidera com 66,0%

A Artificial Analysis incluiu em seus rankings dois benchmarks médicos da OpenAI: o HealthBench e o HealthBench Professional. Ambos avaliam como os modelos respondem em diálogos realistas sobre saúde, e as respostas são pontuadas por rubricas elaboradas por médicos. No conjunto profissional, o GPT-6 Astra (max) lidera com 66,0% na pontuação ajustada por comprimento. No HealthBench geral, o Claude Sonnet 5.5 (max with fallback) está na frente, com 62,1%. A diferença entre as pontuações brutas e as ajustadas embaralha bastante a tabela.

Como os testes funcionam

O HealthBench reúne 5000 diálogos com usuários comuns e profissionais de saúde. Eles são divididos em sete temas, de encaminhamentos de emergência a saúde global. Cada critério da rubrica pertence a um de cinco eixos: precisão, completude, qualidade da comunicação, consciência de contexto e seguimento de instruções. As respostas são avaliadas pelo GPT-4.1.

O HealthBench Professional é menor: são 525 diálogos, todos com clínicos. Há consultas, tarefas de escrita e trabalho de pesquisa, além de casos deliberadamente difíceis e adversariais. O juiz das respostas é o GPT-5.4 (low).

A Artificial Analysis publica dois indicadores: a fração bruta de pontos obtidos e a pontuação ajustada por comprimento, segundo a metodologia da OpenAI. O ajuste reduz a nota de respostas com mais de 2000 caracteres e aumenta a das mais curtas.

HealthBench

Professional: OpenAI na frente, e o comprimento pesa

No conjunto profissional, os primeiros lugares são de modelos da OpenAI. Toda a fronteira de Pareto de "pontuação versus custo por tarefa" também é formada por eles.

• GPT-6 Astra (max): 66,0%, $0,27 por tarefa
• GPT-6.1 Sol (max): 65,1%, $0,047
• GPT-6 Sol (max): 62,3%, $0,036
• GPT-6 Luna (max): 61,9%, $0,004
• Claude Sonnet 5.5 (max with fallback): 63,0%

O GPT-6 Luna fica 4 pontos atrás do Astra, com custo inferior a 2% do dele.

O tamanho da resposta muda o quadro. O Claude Opus 5.5 e o Claude Fable 5.1 escrevem em média cerca de 5900 caracteres, quase o triplo do limite, e perdem mais de 11 pontos após o ajuste. O Opus 5.5 (max with fallback) tem a maior pontuação bruta, 71,4%, mas no ranking ajustado cai para o sexto lugar, com 59,9%. O GPT-6 Sol (max) é o único que respeita o limite (cerca de 1600 caracteres), e é o único cuja nota sobe com o ajuste.

HealthBench: modelos baratos quase alcançam os caros

No conjunto geral, o primeiro lugar é do Claude Sonnet 5.5 (62,1%). Em seguida vêm o DeepSeek V4.1 Flash (max, 60,9%) e o GPT-6.1 Sol (max, 58,5%). A fronteira de Pareto aqui é formada por três modelos: GPT-6 Luna (54,6% a $0,002 por tarefa), DeepSeek V4.1 Flash (60,9% a $0,005) e Claude Sonnet 5.5. Este último custa em média $0,08 por tarefa, cerca de 16 vezes mais que o DeepSeek V4.1 Flash, por um ganho de aproximadamente 1 ponto.

A divisão por eixos mostra o preço da concisão. O GPT-6 Sol (max) escreve as respostas mais curtas, cerca de 1000 caracteres, e obtém a melhor pontuação bruta em qualidade da comunicação (81%). Em compensação, tem o pior resultado em completude, 34%. Em completude, quem lidera é o Claude Sonnet 5.5, com 63%.

Como ler esses números ao escolher um modelo

Primeiro: olhe os dois indicadores. A pontuação bruta mostra quanta informação clinicamente relevante o modelo entregou. A ajustada reflete o quanto a resposta é adequada a um diálogo real, em que um textão atrapalha. Se você está construindo um assistente para médicos, que precisam de completude e profundidade de referência, a penalidade por comprimento pode ser encarada como leve. Para um chat com pacientes, ela pesa mais.

Segundo: em cenários de massa, com grande volume de requisições, a economia decide. A $0,002–0,005 por tarefa, o GPT-6 Luna e o DeepSeek V4.1 Flash entregam resultado próximo ao dos modelos caros. O Astra, mais caro, se justifica onde cada ponto conta em casos clínicos complexos.

Terceiro: o benchmark foi criado pela OpenAI, e os juízes em ambos os testes são modelos da OpenAI. Isso não invalida os resultados, mas, antes de implantar, vale rodar os candidatos com dados próprios e com a participação de médicos. O ranking ajuda a reduzir as opções, mas não substitui a validação clínica.