Por que a infraestrutura de IA deve evoluir para agentes — Akshat Bubna, CTO Modal

Akshat Bubna, CTO da plataforma em nuvem Modal, retornou ao podcast Latent Space após dois anos para discutir por que o paradigma atual de infraestrutura em nuvem é inadequado para a era dos agentes de IA.

De Funções Sem Estado para Agentes de Longa Duração

A infraestrutura em nuvem dos últimos 15 anos foi construída em torno do paradigma de funções curtas: uma solicitação chega, o servidor executa uma tarefa em milissegundos ou segundos, retorna um resultado. Este modelo funciona perfeitamente para aplicações web, microsserviços e processamento de dados.

Os agentes de IA funcionam completamente diferente. Em vez de uma solicitação API única, um agente é iniciado e pode trabalhar por horas ou dias, tomando decisões, chamando ferramentas, analisando resultados e se adaptando a novas informações. É crítico que precise manter estado, lembrar contexto, coordenar planos de longo prazo.

• Um agente não simplesmente chama um LLM uma vez — itera
• Requer um processo de longa duração que não seja eliminado pelo servidor
• Deve lembrar todo o contexto entre etapas
• Interage com múltiplas ferramentas, APIs e serviços em paralelo

Por Que a Arquitetura Serverless Não Se Encaixa

Quando você executa uma função no AWS Lambda ou Google Cloud Functions, a nuvem pode destruir o contêiner a qualquer momento após a execução. O estado não é preservado. A próxima chamada de função — uma página em branco.

Para os agentes, isso significa que cada iteração perde o contexto das etapas anteriores. O agente não pode trabalhar a longo prazo. O dimensionamento se torna um problema: você executa muitas funções independentes, em vez de gerenciar um único processo coordenado de longa duração. Os recursos competem. A confiabilidade sofre.

As plataformas em nuvem atuais simplesmente não foram projetadas para isso.

O Que a Infraestrutura de Agentes Requer

Uma plataforma que suporta agentes deve fornecer:

• Contêineres de longa duração que não percam estado
• Preservação garantida de contexto entre iterações
• Dimensionamento simples de múltiplos agentes simultâneos
• Coordenação integrada e tolerância a falhas
• Acesso fácil a GPU/CPU sem gerenciamento de infraestrutura

Modal se posiciona como tal plataforma — uma nuvem que primeiro pergunta "que computações o agente precisa?" em vez de "quais funções faço o dimensionamento?".

O Que Isso Significa

A infraestrutura em nuvem entra em seu terceiro ciclo de evolução. O primeiro foi sobre simplesmente mover servidores para a nuvem. O segundo — microsserviços e dimensionamento de funções. O terceiro — é a era de agentes de IA de longa duração, que requerem um novo tipo de arquitetura. Plataformas como Modal mostram que a infraestrutura deve evoluir junto com os tipos de aplicações que os desenvolvedores constroem.