Por qué la infraestructura de IA debe evolucionar para agentes — Akshat Bubna, CTO Modal

Akshat Bubna, CTO de la plataforma en la nube Modal, regresó al podcast Latent Space después de dos años para discutir por qué el paradigma actual de infraestructura en la nube es inadecuado para la era de los agentes de IA.

De Funciones sin Estado a Agentes de Larga Duración

La infraestructura en la nube de los últimos 15 años se ha construido alrededor del paradigma de funciones cortas: llega una solicitud, el servidor ejecuta una tarea en milisegundos o segundos, devuelve un resultado. Este modelo funciona perfectamente para aplicaciones web, microservicios y procesamiento de datos.

Los agentes de IA funcionan completamente diferente. En lugar de una solicitud API única, un agente se inicia y puede trabajar durante horas o días, tomando decisiones, llamando herramientas, analizando resultados y adaptándose a nueva información. Es crítico que necesite mantener estado, recordar contexto, coordinar planes a largo plazo.

• Un agente no simplemente llama a un LLM una vez — itera
• Requiere un proceso de larga duración que no sea eliminado por el servidor
• Debe recordar el contexto completo entre pasos
• Interactúa con múltiples herramientas, API y servicios en paralelo

Por Qué la Arquitectura Serverless No Encaja

Cuando ejecutas una función en AWS Lambda o Google Cloud Functions, la nube puede matar el contenedor en cualquier momento después de la ejecución. El estado no se preserva. La siguiente llamada de función — una pizarra en blanco.

Para los agentes, esto significa que cada iteración pierde el contexto de los pasos anteriores. El agente no puede trabajar a largo plazo. El escalado se convierte en un problema: ejecutas muchas funciones independientes, en lugar de gestionar un único proceso coordinado de larga duración. Los recursos compiten. La confiabilidad sufre.

Las plataformas en la nube actuales simplemente no fueron diseñadas para esto.

Qué Requiere la Infraestructura de Agentes

Una plataforma que soporta agentes debe proporcionar:

• Contenedores de larga duración que no pierdan estado
• Preservación garantizada de contexto entre iteraciones
• Escalado simple de múltiples agentes concurrentes
• Coordinación integrada y tolerancia a fallos
• Acceso fácil a GPU/CPU sin gestión de infraestructura

Modal se posiciona como tal plataforma — una nube que primero pregunta "¿qué cálculos necesita el agente?" en lugar de "¿qué funciones escalo?".

Qué Significa Esto

La infraestructura en la nube entra en su tercer ciclo de evolución. El primero fue sobre simplemente mover servidores a la nube. El segundo — microservicios y escalado de funciones. El tercero — es la era de los agentes de IA de larga duración, que requieren un nuevo tipo de arquitectura. Plataformas como Modal muestran que la infraestructura debe evolucionar junto con los tipos de aplicaciones que desarrollan los desarrolladores.