BerriAI lanza LiteLLM Agent Platform para llevar agentes a producción

Ejecutar un agente de IA en un script local es sencillo. Ejecutarlo de forma fiable en producción, conservar su estado entre reinicios y ofrecer entornos aislados para distintos contextos es otra historia.

El problema en producción

Cuando un agente de IA funciona solo en la máquina del desarrollador, todo parece fácil. Pero al pasar a producción surgen enseguida los problemas: no hay almacenamiento de sesiones entre reinicios del sistema operativo, no hay aislamiento de contextos entre usuarios, es difícil gestionar equipos y falta una monitorización integrada. Todas las empresas que han intentado ejecutar un agente en producción acabaron escribiendo su propia infraestructura.

BerriAI, la empresa detrás del popular LiteLLM AI Gateway, ha lanzado una solución para este problema: LiteLLM Agent Platform. Es una capa de infraestructura autoalojada y basada en Kubernetes que automatiza todo lo necesario.

Qué incluye LiteLLM Agent Platform

La plataforma aporta los componentes clave para agentes listos para producción:

• Sandboxes aislados para cada agente o contexto
• Gestión de sesiones persistentes: el estado se conserva tras los reinicios
• Gestión de equipos y control de acceso
• Monitorización, registro y trazabilidad integrados
• Despliegue autoalojado en Kubernetes
• Una API para gestionar el ciclo de vida del agente

Tú defines la especificación del agente; la plataforma crea el entorno y se encarga del resto.

Diferencias con LiteLLM Gateway

Conviene no confundir LiteLLM Agent Platform con LiteLLM AI Gateway (del mismo autor). El Gateway gestiona las peticiones a distintos modelos LLM (OpenAI, Anthropic, Cohere, modelos locales). Resuelve el enrutamiento y el almacenamiento en caché de las peticiones. Agent Platform está un nivel por encima: es infraestructura para todo el ciclo de vida del agente. El Gateway puede formar parte del stack, pero la Platform asume toda la complejidad del entorno.

Qué significa

En la práctica, esto elimina toda una clase de problemas para los equipos que quieren ejecutar agentes de IA en producción. Ya no hace falta escribir por cuenta propia la persistencia de sesiones, el aislamiento de contextos ni la monitorización. Al ser de código abierto, las empresas podrán integrar la plataforma en su stack sin dependencia de un proveedor (vendor lock-in). Esto debería acelerar el paso de los agentes de la prueba de concepto a producción.