Claude Fable 5 vs. GPT-5.5 Pro: comparação em 12 tarefas pelo agregador BotHub

Os autores do blog da BotHub no Habr compararam dois modelos de linguagem de ponta, o Claude Fable 5, da Anthropic, e o GPT-5.5 Pro, da OpenAI, em 12 tarefas práticas. Os dois modelos foram testados pelo agregador de APIs de redes neurais da própria BotHub.

Por que comparar justamente esses dois modelos

No artigo anterior, os autores já haviam comparado o Claude Opus 4.8, o GPT-5.5 e o Gemini 3.1 Pro, mas avisaram logo de início: o GPT-5.5 Pro ficou de fora daquela vez porque o adversário mais adequado para ele seria o Claude Fable 5, que estava indisponível na época da publicação. O cenário mudou quando a Anthropic, de forma inesperada, voltou a liberar o acesso geral ao Claude Fable 5.

• O Claude Fable 5 é o primeiro modelo da nova classe Mythos, que fica acima do Opus na hierarquia da Anthropic
• A Anthropic, de forma inesperada, voltou a disponibilizar o Fable 5 ao público
• A comparação se baseia em 12 tarefas práticas do dia a dia, e não em benchmarks formais
• Os testes foram feitos pelo agregador de APIs BotHub, e não pelas interfaces web dos modelos

Como funciona a metodologia de testes

Os autores deixaram de lado, por princípio, benchmarks prontos e as promessas de marketing dos fabricantes e apostaram em tarefas reais do cotidiano. Os testes rodaram no agregador de redes neurais BotHub, que funciona via API. Segundo os autores, isso livra a comparação dos apoios e gambiarras que ajudam os modelos de forma implícita em suas interfaces web oficiais. De quebra, a metodologia mostra na hora quanto custa, em dinheiro, a solução de cada tarefa.

O custo é medido na moeda interna da BotHub, o CAPS, atrelada ao número de tokens consumidos. Normalmente, 1 rublo compra de 4000 a 6500 CAPS, dependendo do volume da compra. Nesta comparação, os autores usaram uma cotação de cerca de 1 rublo = 6370 CAPS, porque mudaram de plano. Como os dois modelos pertencem ao segmento premium, os valores finais por tarefa ficaram bem mais altos do que na comparação anterior entre Opus 4.8, GPT-5.5 e Gemini 3.1 Pro.

Como antes, os autores definem o vencedor de cada tarefa de forma predominantemente subjetiva e avisam os leitores sobre isso com franqueza. Todo o material dos testes foi publicado abertamente, para que os leitores possam formar a própria opinião e escolher seu modelo favorito.

O que torna o formato da comparação interessante

A publicação aberta de todo o material de teste faz parte da metodologia dos autores. Em vez de simplesmente anunciar um vencedor, eles permitem que os próprios leitores avaliem as respostas dos dois modelos em cada uma das 12 tarefas e cheguem às suas conclusões, mesmo que elas divirjam das do artigo. Essa abordagem é especialmente valiosa no segmento premium, com modelos como o Claude Fable 5 e o GPT-5.5 Pro, em que o próprio custo da requisição pesa na escolha do modelo: conta a qualidade da resposta, mas também o preço dela em CAPS.

O que isso significa

Com a volta do Claude Fable 5 ao acesso público, pela primeira vez é possível comparar diretamente o modelo de ponta da classe Mythos da Anthropic com a versão Pro de ponta do GPT-5.5, da OpenAI, em condições iguais de API, e não com base em promessas de marketing dos desenvolvedores. Para equipes que escolhem um modelo para tarefas específicas, comparações práticas como essa, com cálculo transparente do custo em tokens, valem mais do que benchmarks formais, nos quais modelos premium costumam ter desempenho quase igualmente bom.

Perguntas frequentes

O que é a classe de modelos Mythos da Anthropic?

Mythos é uma nova classe de modelos da Anthropic, que fica acima do Opus na hierarquia da empresa. O Claude Fable 5 é o primeiro modelo lançado nessa classe.

Como foi calculado o custo das requisições aos modelos na comparação?

O custo foi medido na moeda interna do agregador BotHub, o CAPS, atrelada à quantidade de tokens consumidos. Normalmente, 1 rublo equivale a 4000-6500 CAPS, dependendo do volume da compra. Neste teste, foi usada uma cotação de cerca de 1 rublo = 6370 CAPS.