Por que a infraestrutura de IA precisa evoluir para os agentes — Akshat Bubna, CTO da Modal

Akshat Bubna, CTO da plataforma de nuvem Modal, voltou ao podcast Latent Space dois anos depois para explicar por que o paradigma atual de infraestrutura de nuvem não está preparado para a era dos agentes de IA.

De funções sem estado a agentes de longa duração

Nos últimos 15 anos, a infraestrutura de nuvem foi construída em torno de funções curtas: chega uma requisição, o servidor executa a tarefa em milissegundos ou segundos e devolve o resultado. Esse modelo funcionou muito bem para aplicações web, microsserviços e processamento de dados.

Os agentes de IA funcionam de maneira bem diferente. Em vez de uma requisição de API única, o agente é iniciado e pode rodar por horas ou dias, tomando decisões, chamando ferramentas, analisando resultados e se adaptando a novas informações. Ele precisa, de forma crítica, manter o estado, lembrar o contexto e coordenar planos de longo prazo.

• Um agente não chama um LLM apenas uma vez — ele itera
• Exige um processo de longa duração que o servidor não encerre
• Precisa lembrar todo o contexto entre as etapas
• Interage com várias ferramentas, APIs e serviços em paralelo

Por que a arquitetura serverless não serve

Quando você executa uma função no AWS Lambda ou no Google Cloud Functions, a nuvem pode encerrar o contêiner a qualquer momento após a execução. O estado não é preservado. A chamada seguinte da função começa do zero.

Para os agentes, isso significa que cada iteração perde o contexto das etapas anteriores. Um agente não consegue trabalhar a longo prazo. A escalabilidade vira um problema: você dispara várias funções independentes em vez de gerenciar um único processo coordenado e de longa duração. Os recursos competem entre si. A confiabilidade sofre.

As plataformas de nuvem atuais simplesmente não foram projetadas para isso.

O que a infraestrutura de agentes exige

Uma plataforma que sustente agentes precisa oferecer:

• Contêineres de longa duração que não percam o estado
• Persistência garantida da memória entre iterações
• Escalabilidade simples para muitos agentes simultâneos
• Coordenação e tolerância a falhas integradas
• Acesso fácil a GPU/CPU sem precisar gerenciar a infraestrutura

A Modal se posiciona como essa plataforma: uma nuvem que primeiro pergunta "que computação o agente precisa?" em vez de "quais funções devo escalar?".

O que isso significa

A infraestrutura de nuvem entra no terceiro ciclo de sua evolução. O primeiro foi apenas levar os servidores para a nuvem. O segundo, os microsserviços e o escalonamento de funções. O terceiro é a era dos agentes de IA de longa duração, que exigem um novo tipo de arquitetura. Plataformas como a Modal mostram que a infraestrutura precisa evoluir junto com os tipos de aplicações que os desenvolvedores constroem.