Por qué la infraestructura de IA debe evolucionar para los agentes — Akshat Bubna, CTO de Modal

Akshat Bubna, CTO de la plataforma en la nube Modal, volvió al podcast Latent Space dos años después para explicar por qué el paradigma actual de la infraestructura en la nube no está preparado para la era de los agentes de IA.

De las funciones sin estado a los agentes de larga duración

La infraestructura en la nube de los últimos 15 años se ha construido en torno a funciones breves: llega una petición, el servidor ejecuta la tarea en milisegundos o segundos y devuelve el resultado. Ese modelo funcionó muy bien para aplicaciones web, microservicios y procesamiento de datos.

Los agentes de IA funcionan de forma muy distinta. En lugar de una petición de API puntual, el agente arranca y puede trabajar durante horas o días, tomando decisiones, llamando a herramientas, analizando resultados y adaptándose a información nueva. Necesita de forma crítica conservar el estado, recordar el contexto y coordinar planes a largo plazo.

• Un agente no se limita a llamar a un LLM una vez: itera
• Requiere un proceso de larga duración que el servidor no mate
• Debe recordar todo el contexto entre pasos
• Interactúa en paralelo con muchas herramientas, API y servicios

Por qué la arquitectura serverless no encaja

Cuando se ejecuta una función en AWS Lambda o Google Cloud Functions, la nube puede matar el contenedor en cualquier momento tras la ejecución. El estado no se conserva. La siguiente llamada a la función parte de cero.

Para los agentes, esto significa que cada iteración pierde el contexto de los pasos anteriores. Un agente no puede trabajar a largo plazo. El escalado se convierte en un problema: se lanzan muchas funciones independientes en lugar de gestionar un único proceso coordinado y de larga duración. Los recursos compiten. La fiabilidad se resiente.

Las plataformas en la nube actuales simplemente no se diseñaron para esto.

Qué exige la infraestructura de agentes

Una plataforma que dé soporte a agentes debe ofrecer:

• Contenedores de larga duración que no pierdan el estado
• Persistencia garantizada de la memoria entre iteraciones
• Escalado sencillo de muchos agentes simultáneos
• Coordinación y tolerancia a fallos integradas
• Acceso fácil a GPU/CPU sin tener que gestionar la infraestructura

Modal se posiciona como esa plataforma: una nube que primero pregunta «¿qué cómputo necesita el agente?» en lugar de «¿qué funciones debo escalar?».

Qué significa esto

La infraestructura en la nube entra en el tercer ciclo de su evolución. El primero consistió simplemente en trasladar los servidores a la nube. El segundo, en los microservicios y el escalado de funciones. El tercero es la era de los agentes de IA de larga duración, que requieren un nuevo tipo de arquitectura. Plataformas como Modal muestran que la infraestructura debe evolucionar al ritmo de los tipos de aplicaciones que construyen los desarrolladores.