Claude Fable 5 contra GPT-5.5 Pro: comparação em 12 tarefas pelo agregador BotHub

Os autores do blog da BotHub no Habr compararam dois modelos de linguagem de ponta, o Claude Fable 5, da Anthropic, e o GPT-5.5 Pro, da OpenAI, em 12 tarefas práticas. Os dois foram testados pelo agregador de redes neurais por API da própria BotHub.

Por que justamente esse par

Em um artigo anterior, os autores já tinham comparado Claude Opus 4.8, GPT-5.5 e Gemini 3.1 Pro, mas avisaram de cara que o GPT-5.5 Pro ficou de fora: o mais correto é colocá-lo contra o Claude Fable 5, que não estava disponível na época da publicação. A situação mudou quando a Anthropic devolveu inesperadamente o Claude Fable 5 ao acesso geral.

• O Claude Fable 5 é o primeiro modelo da nova classe Mythos, que na hierarquia da Anthropic fica acima do Opus
• A Anthropic devolveu inesperadamente o Fable 5 ao acesso aberto
• A comparação se baseia em 12 tarefas práticas do dia a dia, e não em benchmarks formais
• Os testes foram feitos pelo agregador de API BotHub, e não pelas interfaces web dos modelos

Como funciona a metodologia dos testes

Os autores recusaram de propósito benchmarks prontos e as alegações de marketing dos fabricantes, apostando em tarefas reais do cotidiano. Os testes passaram pelo agregador de redes neurais BotHub, que funciona por API. Segundo os autores, isso elimina os apoios e gambiarras que ajudam os modelos de forma implícita nas interfaces web próprias. Além disso, a metodologia mostra de imediato quanto custa, em dinheiro, resolver cada tarefa.

O custo é medido na moeda interna da BotHub, o CAPS, atrelada ao número de tokens gastos. Normalmente, um rublo compra de 4000 a 6500 CAPS, dependendo do volume da compra; nesta comparação, os autores usaram uma taxa de cerca de 1 rublo = 6370 CAPS, porque mudaram de plano. Os dois modelos são do segmento premium, por isso os preços finais por tarefa ficaram bem mais altos do que na comparação anterior entre Opus 4.8, GPT-5.5 e Gemini 3.1 Pro.

Como antes, os autores definem o vencedor de cada tarefa de forma predominantemente subjetiva e avisam isso com franqueza aos leitores. Todos os materiais dos testes estão publicados em acesso aberto, então os leitores podem formar a própria opinião e escolher o seu favorito entre os modelos.

O que há de interessante nesse formato de comparação

Publicar abertamente todos os materiais dos testes faz parte da metodologia dos autores: em vez de apenas declarar um vencedor, eles dão aos leitores a chance de avaliar as respostas dos dois modelos em cada uma das 12 tarefas e formar a própria opinião, mesmo que ela divirja das conclusões do artigo. Essa abordagem é especialmente valiosa no segmento premium, com modelos como Claude Fable 5 e GPT-5.5 Pro, em que o próprio custo da requisição entra na decisão: não só a qualidade da resposta, mas também o preço em CAPS.

O que isso significa

A volta do Claude Fable 5 ao acesso aberto permite, pela primeira vez, comparar diretamente o modelo de topo da classe Mythos, da Anthropic, com a versão Pro do GPT-5.5, da OpenAI, em condições iguais de API, e não com base em promessas de marketing dos desenvolvedores. Para equipes que escolhem um modelo para tarefas específicas, comparações práticas com contagem transparente de custo em tokens valem mais do que benchmarks formais, que os modelos premium costumam passar quase igualmente bem.

Perguntas frequentes

O que é a classe de modelos Mythos da Anthropic?

Mythos é uma nova classe de modelos da Anthropic que, na hierarquia da empresa, fica acima do Opus. O Claude Fable 5 é o primeiro modelo lançado nessa classe.

Como o custo das requisições aos modelos foi calculado na comparação?

O custo foi medido na moeda interna do agregador BotHub, o CAPS, atrelada à quantidade de tokens gastos. Normalmente 1 rublo equivale a 4000-6500 CAPS, dependendo do volume da compra; neste teste, usou-se uma taxa de cerca de 1 rublo = 6370 CAPS.