Fireworks procesa 40 billones de tokens al día en modelos personalizados, el doble que el verano pasado

Se suele dar por hecho que los modelos abiertos son un nicho para entusiastas, mientras que el dinero y el tráfico de verdad están en OpenAI y Anthropic. Nathan Lambert, autor de Interconnects, decidió comprobarlo con cifras. La primera entrega de su nueva serie de pago sobre el tamaño de la economía de los modelos abiertos plantea una pregunta sencilla: ¿está creciendo el mercado de inferencia de modelos abiertos o es un error estadístico al lado de los laboratorios cerrados?

De dónde salen las cifras

No existen mediciones fiables, y el propio Lambert lo reconoce. Hay métricas ruidosas de las plataformas, cifras de marketing de las startups y benchmarks públicos imperfectos. Por eso toma como referencia tres empresas cuyo destino depende directamente de los modelos abiertos: Baseten, Fireworks y Together AI. A ellas suma la cuota de los modelos abiertos en los tokens de OpenRouter, que el servicio ofrece a través de su API.

Los hiperescaladores como Amazon Bedrock y Azure probablemente ocupan también aquí un lugar importante. Pero no revelan cuánto de su tráfico corresponde específicamente a modelos abiertos, así que quedaron fuera de la muestra.

La principal cifra reciente viene de Fireworks. En su primera conferencia, la compañía afirmó que procesa más de 40 billones de tokens al día para los modelos personalizados de sus clientes. Es solo un segmento de su inferencia y ha crecido más del doble desde el verano. Lambert espera que el volumen total de Fireworks esté claramente por encima de los 100 billones de tokens al día en la próxima actualización.

Cómo compararlo con los modelos cerrados

El primer instinto de Lambert es anclar estos números a algo conocido. Google es el único gran actor que publica los tokens de toda su plataforma y su API en los informes para inversores. Por eso superpone los datos de Google a los gráficos de las plataformas abiertas, en escala logarítmica. El resultado de la comparación queda tras el muro de pago, así que no sabemos cuánto se ha acercado el segmento abierto a Google.

Pero algo se ve incluso sin él. En escala logarítmica, los datos públicos de las startups parecen casi una recta ascendente, es decir, crecimiento exponencial. Según Lambert, tras el lanzamiento de GLM 5.2 esto se aceleró aún más, porque los modelos abiertos han mejorado notablemente en tareas con agentes. Y los agentes consumen órdenes de magnitud más tokens que un chat normal: una sola petición se convierte en una larga cadena de llamadas a herramientas y de consultas repetidas al modelo.

Qué hacer con esto

Para el profesional, la conclusión no es que los modelos abiertos hayan superado a los cerrados. Es otra: la infraestructura para ellos se ha convertido en un mercado de pleno derecho, con volúmenes que se miden en decenas de billones de tokens diarios. Esto implica varias cosas.

• Si construyes un producto con agentes y un gran gasto de tokens, tienes una alternativa real a las API cerradas. Calcula el coste por millón de tokens en Fireworks, Together o Baseten para tu carga y compáralo con tu factura actual.
• La personalización se convierte en el argumento principal. El crecimiento del segmento de modelos personalizados de Fireworks indica que los clientes ajustan y adaptan los modelos abiertos a sus necesidades, en lugar de usarlos tal cual.
• Depender de un solo proveedor sale más caro que antes. Si tu código está atado a un único formato de API, mantén una capa de abstracción sobre los proveedores.

Limitaciones

Conviene tener presentes los límites de estos datos. Las cifras de las startups son de marketing, nadie las audita de forma independiente, y «tokens al día» no equivale a ingresos. Los tokens de distintos modelos cuestan muy diferente, y las cargas con agentes inflan el volumen sin un aumento proporcional del dinero. La comparación con Google también es burda: Google cuenta todos los modelos de su plataforma, mientras que las startups cuentan solo los abiertos.

Por eso conviene mirar la dirección y el orden de magnitud, no las cuotas exactas. La dirección, por ahora, es inequívoca: la inferencia abierta crece rápido e ignorarla al elegir un stack ya es arriesgado. Las conclusiones completas de Lambert están bajo suscripción, mientras que el panel gratuito de Interconnects con datos sobre adopción y calidad de los modelos abiertos puede servir como punto de partida.