LangSmith apresenta LLM Gateway: controle de gastos e PII para agentes de IA

LangSmith, plataforma para desenvolvimento e depuração de aplicações LLM da LangChain, apresentou um LLM Gateway integrado. Esta é uma nova ferramenta que permite aos desenvolvedores controlar gastos com chamadas de grandes modelos de linguagem, proteger dados de usuários e rastrear cada chamada em tempo real. O gerenciamento ocorre diretamente do ambiente de desenvolvimento, sem instalação de serviços adicionais.

Como o Gateway funciona

O LLM Gateway está integrado diretamente no LangSmith e funciona no nível de runtime — no momento da execução da requisição. A ferramenta se posiciona entre o código do agente e o serviço do provedor LLM (OpenAI, Anthropic, Google etc.), intercepta cada requisição, verifica-a contra regras estabelecidas e pode aplicar transformações necessárias antes de enviar ao servidor.

Anteriormente, o desenvolvedor tinha que escrever seu próprio middleware ou contar com logging depois que a requisição já estava executada — quando o trem já havia saído. Agora o Gateway é integrado automaticamente, sem alterações no código da aplicação. Isso simplifica a implantação em produção e torna o controle mais confiável.

Para grandes organizações com múltiplos aplicativos de IA, essa integração é crítica. A plataforma se torna não apenas um sistema de logging, mas uma ferramenta ativa de gerenciamento de gastos LLM e segurança em tempo real.

Três capacidades principais

O Gateway se concentra em três problemas enfrentados pelos desenvolvedores ao trabalhar com agentes de IA:

• Controle de gastos e orçamento — definição de limites rígidos no número de tokens ou custo direto de requisições, com diferentes níveis de granularidade: no nível de agente individual, usuário, organização inteira ou chave de API
• Proteção de dados pessoais (redação de PII) — remoção automática de informações sensíveis (números de cartão de crédito, SSN, email, endereços físicos, números de documentos) dos prompts ANTES de enviar ao servidor
• Rastreamento completo — preservação de logs detalhados de cada chamada LLM com informações sobre versão do modelo, parâmetros, tempo de resposta e custo

O problema de vazamento de dados pessoais é particularmente crítico em aplicações de produção. Na prática, o desenvolvedor muitas vezes não pode controlar completamente quais dados do usuário chegam aos prompts — através de API, logging, entrada do usuário. O Gateway funciona como um filtro: limpa valores perigosos antes do envio e registra o fato da redação, para que as equipes de compliance e segurança saibam onde houve risco e como foi tratado.

O controle financeiro também é crítico. Grandes modelos de linguagem são caros, e agentes complexos muitas vezes fazem uma dúzia de chamadas por sessão de usuário. Quando os limites são definidos no nível da plataforma (não manualmente no código), gastos orçamentários incontroláveis se tornam impossíveis.

Integração no fluxo de trabalho

A principal característica do Gateway é que não é um microsserviço separado que precisa ser instalado e configurado separadamente. É um componente integrado do LangSmith. O desenvolvedor abre o painel da plataforma, ativa as regras necessárias (limites de gastos, padrões de PII, limites de taxa), e elas começam a funcionar imediatamente para todos os agentes. Isso reduz a complexidade do desenvolvimento e implantação.

Quando a governança está integrada à plataforma principal, a equipe não gasta tempo e recursos na integração e monitoramento de um sistema separado, nem precisa procurar bugs na interface entre serviços.

Esta é a primeira ferramenta de governança que está integrada no ciclo

de vida do agente, e não apenas colada no topo.

O que isso significa

Para desenvolvedores: controle de gastos e proteção de dados agora são automáticos. Em vez de escrever verificações em cada requisição, é suficiente configurar as regras uma vez no LangSmith. A equipe pode se concentrar na lógica do agente, e as verificações rotineiras funcionam por conta própria.

Para empresas: é mais seguro e econômico dimensionar aplicações de IA em produção. Os riscos financeiros são contidos no nível da plataforma, a proteção de PII funciona imediatamente, o logging ajuda automaticamente em auditorias e verificações de conformidade. LangSmith se transforma em uma plataforma completa de gerenciamento de agentes LLM — desde o rascunho no notebook do desenvolvedor até o dimensionamento em produção com gerenciamento e governança integrados.