BerriAI lança LiteLLM Agent Platform para agentes em produção

Rodar um agente de IA em um script local é simples. Rodá-lo com confiabilidade em produção, manter seu estado entre reinicializações e oferecer ambientes isolados para diferentes contextos é outra história.

O problema em produção

Quando o agente de IA roda apenas na máquina do desenvolvedor, tudo parece simples. Mas, na passagem para produção, os problemas aparecem logo: não há armazenamento de sessões entre reinicializações do sistema operacional, não há isolamento de contextos entre usuários, é difícil gerenciar equipes e falta monitoramento integrado. Toda empresa que tentou rodar um agente em produção acabou escrevendo a própria infraestrutura.

A BerriAI, empresa por trás do popular LiteLLM AI Gateway, lançou uma solução para esse problema: o LiteLLM Agent Platform. É uma camada de infraestrutura self-hosted, baseada em Kubernetes, que automatiza tudo o que é necessário.

O que inclui o LiteLLM Agent Platform

A plataforma oferece os componentes essenciais para agentes prontos para produção:

• Sandboxes isolados para cada agente ou contexto
• Gerenciamento de sessões persistentes: o estado é mantido após reinicializações
• Gerenciamento de equipes e controle de acesso
• Monitoramento, logs e tracing integrados
• Implantação self-hosted em Kubernetes
• API para gerenciar o ciclo de vida do agente

Você define a especificação do agente; a plataforma cria o ambiente e cuida do resto.

Diferença em relação ao LiteLLM Gateway

É importante não confundir o LiteLLM Agent Platform com o LiteLLM AI Gateway (do mesmo autor). O Gateway gerencia requisições a diferentes modelos de linguagem (OpenAI, Anthropic, Cohere, modelos locais). Ele resolve o roteamento e o cache das requisições. O Agent Platform fica um nível acima: é infraestrutura para todo o ciclo de vida do agente. O Gateway pode fazer parte do stack, mas a Platform assume toda a complexidade do ambiente.

O que isso significa

Na prática, isso elimina toda uma classe de problemas para equipes que querem rodar agentes de IA em produção. Não é preciso escrever por conta própria a persistência de sessões, o isolamento de contextos e o monitoramento. Por ser open source, o código permitirá que as empresas integrem a plataforma ao próprio stack sem vendor lock-in. Isso deve acelerar a passagem dos agentes de POC para produção.