Modal supera los $1 mil millones de ARR y se valora en $16 mil millones gracias a la demanda de sandboxes

Modal, plataforma para ejecutar cargas de trabajo de IA, ha superado los $1 mil millones de ingresos anualizados (annualized run rate) en los cinco meses posteriores a su ronda C, con una valoración de $5 mil millones, y ha cerrado una ronda D de $750 millones con una valoración de $16 mil millones. Al mismo tiempo, la compañía ha lanzado casi tres mil millones de sandboxes. En una extensa entrevista con Latent Space, el CEO Erik Bernhardsson explicó de dónde viene el crecimiento y por qué la demanda de cómputo encaja mal con los contratos con los que se compra.

Por qué la capacidad de GPU se vende en rectángulos

Un contrato de capacidad típico funciona así: el cliente recibe un número fijo de GPU durante un periodo fijo. Si se dibuja esa capacidad sobre un eje temporal, el resultado es un rectángulo. La carga real es distinta: crece, sube de golpe y cae a lo largo del día. Si se compra para el pico, se paga por hardware ocioso. Si se compra menos, se pierde demanda.

Bernhardsson describe la apuesta de Modal como una transformación de plazos (duration transformation). La compañía asegura la capacidad de base con contratos a largo plazo, agrupa la demanda de miles de clientes y entrega a cada uno lo que necesita, cuando lo necesita. Cuanto más uniforme sea la demanda total, más útil resulta ese pool. El enfoque complementa el de SF Compute y Evan Conrad: ellos hacen que la capacidad sea negociable; Modal la adapta a porciones pequeñas y elásticas.

El modelo tiene un reverso. Si el proveedor ha fijado capacidad a los precios de hoy y las GPU se abaratan después, en su balance quedará una oferta cara. Bernhardsson no espera un desplome cercano, pero considera que ese escenario debe incorporarse al modelo de negocio.

La sandbox que casi se cierra

Las sandboxes nacieron cuando Bernhardsson y su cofundador, Akshat Bubna, observaron que los modelos de lenguaje escriben código y alguien tiene que ejecutarlo. Al principio el interés era tan modesto que el equipo llegó a debatir el cierre del producto. Después llegaron los agentes de programación, los agentes en segundo plano y el aprendizaje por refuerzo. Hoy las sandboxes aportan aproximadamente un tercio de los ingresos de Modal. Bernhardsson no había previsto ese resultado al lanzarlas.

La carga de trabajo también ha cambiado. Un agente crea un entorno, ejecuta código, mira el resultado y vuelve a intentarlo, una y otra vez. La latencia de arranque y de recuperación del entorno pasa a formar parte de la experiencia del usuario. De ahí el paso de la developer experience a la agent experience.

La elasticidad solo funciona si la capacidad aparece con suficiente rapidez. Según la propia Modal, el arranque rápido se apoya en varias capas:

• un búfer de GPU libres del que se toman nuevas réplicas del modelo;
• un sistema de archivos propio;
• checkpointing de procesos;
• snapshots de la memoria de la GPU;
• un resource solver que elige la capacidad según la evolución de precios y disponibilidad.

La compañía mostró su límite de ingeniería en un artículo sobre el escalado hasta un millón de sandboxes simultáneas.

Del Spotify a la infraestructura

Bernhardsson trabajó siete años en Spotify, donde construyó desde cero el sistema de recomendaciones musicales: related artists, Discover Weekly y otras funciones. Allí trabajó mucho con factorización de matrices y cómputo intensivo, y allí concluyó que la infraestructura para aplicaciones de IA resultaba incómoda. Define Modal como la herramienta que a él le habría gustado tener. Después fue durante cinco años CTO de Better.com, donde hizo crecer el equipo técnico de unas dos personas a varios cientos.

Empezó Modal en 2021, antes del lanzamiento de ChatGPT. La idea inicial era general: simplificar la ejecución de código en la nube, ya fuera con GPU, ML o procesamiento de datos. Eso obligó a bajar muy hondo en el stack y escribir un sistema de archivos y un runtime de contenedores propios.

El primer impulso real no vino de ChatGPT, sino de Stable Diffusion: cuando el equipo tenía cuatro o cinco personas, empezaron a llegar usuarios que querían ejecutar ese modelo. Así descubrieron que la inferencia de modelos generativos es lo que mejor encaja con la plataforma. Hoy entre los clientes de Modal están Suno, Runway y Cognition, y los ingresos, según Bernhardsson, han crecido al menos 50 veces en dos años.

La conversación toca también otros temas: la compra de capacidad, alquilar frente a poseer, alternativas a NVIDIA, lecciones de las neoclouds, la seguridad de las sandboxes, el trabajo de los ingenieros forward-deployed y el code review opcional dentro de Modal.

Para los equipos que construyen productos de IA, la conclusión es práctica. Antes de firmar un contrato de reserva de GPU, conviene trazar la carga real hora por hora y calcular cuánto se pagará por la capacidad parada entre picos. En los sistemas con agentes, las métricas de infraestructura deben incluir el tiempo de arranque y de recuperación del entorno, porque un agente hace decenas de iteraciones y cada retraso se acumula. Y el mercado de capacidad, a juzgar por la valoración de $16 mil millones, premia cada vez más a quienes saben convertir contratos rígidos a largo plazo en servicios flexibles facturados por segundo.