Fireworks processa 40 trilhões de tokens por dia em modelos personalizados — o dobro do verão

Costuma-se achar que os modelos abertos são um nicho de entusiastas, enquanto o dinheiro e o tráfego de verdade estão na OpenAI e na Anthropic. Nathan Lambert, autor do Interconnects, decidiu verificar isso com números. O primeiro texto de sua nova série paga sobre o tamanho da economia dos modelos abertos faz uma pergunta simples: o mercado de inferência de modelos abertos está crescendo ou é um erro estatístico ao lado dos laboratórios fechados?

De onde vêm os números

Não há medições confiáveis aqui, e o próprio Lambert admite isso. Existem métricas ruidosas das plataformas, números de marketing das startups e benchmarks públicos imperfeitos. Por isso, ele toma como referência três empresas cujo destino depende diretamente dos modelos abertos: Baseten, Fireworks e Together AI. A elas soma-se a participação dos modelos abertos nos tokens da OpenRouter, que o serviço disponibiliza por meio de sua API.

Hiperescaladores como Amazon Bedrock e Azure provavelmente também ocupam um espaço grande aqui. Mas eles não revelam quanto do tráfego corresponde especificamente a modelos abertos, então ficaram fora da amostra.

O principal número recente vem da Fireworks. Em sua primeira conferência, a empresa afirmou processar mais de 40 trilhões de tokens por dia para os modelos personalizados de clientes. É apenas um segmento de sua inferência, e ele mais que dobrou desde o verão. Lambert espera que o volume total da Fireworks fique bem acima de 100 trilhões de tokens por dia na próxima atualização.

Como comparar isso com os modelos fechados

O primeiro instinto de Lambert é ancorar esses números em algo conhecido. O Google é o único grande player que publica os tokens de toda a sua plataforma e API nos relatórios para investidores. Por isso, ele sobrepõe os dados do Google aos gráficos das plataformas abertas, em escala logarítmica. O resultado da comparação em si ficou atrás do paywall, então não sabemos quão perto o segmento aberto chegou do Google.

Mas algo já se vê mesmo sem ele. Em escala logarítmica, os dados públicos das startups parecem quase uma reta ascendente, ou seja, crescimento exponencial. Segundo Lambert, após o lançamento do GLM 5.2 isso se acelerou ainda mais, porque os modelos abertos melhoraram notavelmente em tarefas com agentes. E os agentes consomem ordens de grandeza mais tokens do que um chat comum: uma única requisição vira uma longa cadeia de chamadas de ferramentas e novas consultas ao modelo.

O que fazer com isso

Para o profissional, a conclusão não é que os modelos abertos ultrapassaram os fechados. É outra: a infraestrutura para eles se tornou um mercado completo, com volumes medidos em dezenas de trilhões de tokens por dia. Isso significa algumas coisas.

• Se você constrói um produto com agentes e alto consumo de tokens, tem uma alternativa real às APIs fechadas. Calcule o custo por milhão de tokens na Fireworks, Together ou Baseten para a sua carga e compare com a fatura atual.
• A personalização está virando o principal argumento. O crescimento justamente do segmento de modelos personalizados da Fireworks indica que os clientes ajustam e adaptam os modelos abertos às suas necessidades, em vez de simplesmente usá-los prontos.
• A dependência de um único fornecedor custa mais caro do que antes. Se o seu código está atrelado a um único formato de API, mantenha uma camada de abstração sobre os provedores.

Limitações

Vale lembrar os limites desses dados. Os números das startups são de marketing, ninguém os audita de forma independente, e «tokens por dia» não é o mesmo que receita. Tokens de modelos diferentes custam de forma muito distinta, e cargas com agentes inflam o volume sem um aumento proporcional de dinheiro. A comparação com o Google também é grosseira: o Google conta todos os modelos de sua plataforma, enquanto as startups contam apenas os abertos.

Portanto, vale olhar a direção e a ordem de grandeza, não as participações exatas. A direção, por ora, é inequívoca: a inferência aberta cresce rápido, e ignorá-la ao escolher uma stack já é arriscado. As conclusões completas de Lambert estão atrás de uma assinatura, enquanto o painel gratuito do Interconnects com dados sobre adoção e qualidade dos modelos abertos pode servir como ponto de partida.