LangSmith presentó LLM Gateway: control de gastos y PII para agentes de IA

LangSmith, la plataforma para desarrollo y depuración de aplicaciones LLM de LangChain, presentó un LLM Gateway integrado. Es una nueva herramienta que permite a los desarrolladores controlar los gastos de las llamadas a modelos de lenguaje grande, proteger los datos de los usuarios y rastrear cada llamada en tiempo real. La gestión se realiza directamente desde el entorno de desarrollo, sin necesidad de instalar servicios adicionales.

Cómo funciona Gateway

LLM Gateway está integrado directamente en LangSmith y funciona a nivel de runtime, en el momento de la ejecución de la solicitud. La herramienta se integra entre el código del agente y el servicio del proveedor de LLM (OpenAI, Anthropic, Google, etc.), intercepta cada solicitud, la verifica contra las reglas establecidas y puede aplicar las transformaciones necesarias antes de enviarla al servidor.

Antes, el desarrollador tenía que escribir su propio middleware o confiar en el registro después de que se ejecutara la solicitud, cuando ya era demasiado tarde. Ahora, Gateway se integra automáticamente, sin cambios en el código de la aplicación. Esto simplifica la implementación en producción y hace que el control sea más confiable.

Para las grandes organizaciones con múltiples aplicaciones de IA, esta integración es crítica. La plataforma se convierte no solo en un sistema de registro, sino en una herramienta activa para gestionar gastos de LLM y seguridad en tiempo real.

Tres capacidades clave

Gateway se enfoca en tres problemas que enfrentan los desarrolladores al trabajar con agentes de IA:

• Control de gastos y presupuesto: establecimiento de límites estrictos en la cantidad de tokens o el costo directo de las solicitudes, con diferentes niveles de granularidad: a nivel de agente individual, usuario, organización completa o clave API
• Protección de datos personales (redacción de PII): eliminación automática de información confidencial (números de tarjeta de crédito, SSN, correos electrónicos, direcciones físicas, números de documentos) de los prompts ANTES de enviarlos al servidor
• Rastreo completo: registro detallado de cada llamada de LLM con información sobre la versión del modelo, parámetros, tiempo de respuesta y costo

El problema de la fuga de datos personales es especialmente agudo en aplicaciones en producción. En la práctica, el desarrollador a menudo no puede controlar completamente qué datos del usuario se incluyen en los prompts, ya sea a través de API, registro o entrada del usuario. Gateway funciona como un filtro: limpia valores peligrosos antes del envío y registra el hecho de la redacción para que los equipos de cumplimiento y seguridad sepan dónde hubo riesgo y cómo se trató.

El control financiero también es crítico. Los modelos de lenguaje grande son costosos, y los agentes complejos a menudo realizan una docena de llamadas por sesión de usuario. Cuando los límites se establecen a nivel de plataforma (no manualmente en el código), el gasto incontrolado del presupuesto se vuelve imposible.

Integración en el flujo de trabajo

La característica principal de Gateway es que no es un microservicio separado que deba instalarse y configurarse por separado. Es un componente integrado de LangSmith. El desarrollador abre el panel de la plataforma, habilita las reglas necesarias (límites de gastos, patrones de PII, límites de tasa) y comienzan a funcionar inmediatamente para todos los agentes.

Esto reduce la complejidad del desarrollo e implementación. Cuando la gobernanza está integrada en la plataforma principal, el equipo no gasta tiempo ni recursos en la integración y monitoreo de un sistema separado, y no es necesario buscar errores en las interfaces entre servicios.

Es la primera herramienta de gobernanza que está integrada en el ciclo

de vida del agente, no simplemente agregada encima.

Qué significa esto

Para los desarrolladores: el control de gastos y la protección de datos ahora son automáticos. En lugar de escribir verificaciones en cada solicitud, es suficiente configurar las reglas una vez en LangSmith. El equipo puede enfocarse en la lógica del agente, mientras que las verificaciones rutinarias se ejecutan automáticamente.

Para las empresas: es más seguro y económico escalar aplicaciones de IA en producción. Los riesgos financieros se mantienen a nivel de plataforma, la protección de PII funciona lista para usar, y el registro ayuda automáticamente en auditorías y verificaciones de cumplimiento.

LangSmith se convierte en una plataforma completa para la gestión de agentes de LLM, desde un borrador en el cuaderno del desarrollador hasta el escalamiento en producción con gestión y gobernanza integradas.