LangSmith представил LLM Gateway: контроль расходов и PII для AI-агентов

LangSmith, платформа для разработки и отладки LLM-приложений от LangChain, представила встроенный LLM Gateway. Это новый инструмент, который позволяет разработчикам контролировать расходы на вызовы больших языковых моделей, защищать данные пользователей и отслеживать каждый вызов в реальном времени. Управление происходит прямо из среды разработки, без установки дополнительных сервисов.

Как работает

Gateway LLM Gateway встроен прямо в LangSmith и работает на уровне runtime — в момент выполнения запроса. Инструмент встраивается между кодом агента и сервисом LLM-провайдера (OpenAI, Anthropic, Google и др.), перехватывает каждый запрос, проверяет его против установленных правил и может применить необходимые трансформации до отправки на сервер. Раньше разработчик должен был либо писать собственный middleware, либо опираться на логирование уже после выполнения запроса — когда поезд уже ушёл. Сейчас Gateway встраивается автоматически, без изменений в коде приложения. Это упрощает развёртывание в продакшене и делает контроль надёжнее. Для больших organisations с множеством AI-приложений эта встроенность критична. Платформа становится не просто системой логирования, но активным инструментом управления LLM-расходами и безопасностью в реальном времени.

Три ключевые возможности

Gateway фокусируется на трёх проблемах, с которыми сталкиваются разработчики при работе с AI-агентами: Контроль расходов и бюджета — установка жёстких лимитов на количество токенов или прямую стоимость запросов, с разной гранулярностью: на уровне отдельного агента, юзера, целой организации или API ключа Защита персональных данных (PII-редакция) — автоматическое удаление чувствительной информации (номера кредиток, SSN, email, физические адреса, номера документов) из промптов ДО отправки на сервер * Полная трассировка — сохранение детального логирования каждого вызова LLM с информацией о версии модели, параметрах, времени отклика и стоимости Проблема утечки персональных данных особенно острая в боевых приложениях. На практике разработчик часто не может полностью контролировать, какие данные пользователя попадают в промпты — через API, логирование, пользовательский ввод. Gateway работает как фильтр: очищает опасные значения перед отправкой и фиксирует факт редакции, чтобы compliance и security-команды знали, где был риск и как он был обработан.

Финансовый контроль тоже критичен. Большие языковые модели дорогие, а сложные агенты часто делают дюжину вызовов за одну пользовательскую сессию. Когда лимиты установлены на уровне платформы (не вручную в коде), неконтролируемый расход бюджета становится невозможен.

Встроенность в рабочий процесс

Главная особенность Gateway — это не отдельный микросервис, который нужно устанавливать и конфигурировать отдельно. Это встроенная компонента LangSmith. Разработчик открывает дашборд платформы, включает нужные правила (spend limits, PII patterns, rate limits), и они начинают работать немедленно для всех агентов. Это снижает сложность development и deployment. Когда governance встроен в основную платформу, команда не расходует время и ресурсы на интеграцию и мониторинг отдельной системы, не приходится искать баги на стыке сервисов.

Это первый инструмент governance, который встроен в жизненный цикл

агента, а не прибит сверху.

Что это значит Для разработчиков: контроль расходов и защита данных теперь автоматические.

Вместо того, чтобы писать проверки в каждом запросе, достаточно настроить правила один раз в LangSmith. Команда может сосредоточиться на логике агента, а рутинные проверки работают сами. Для компаний: безопаснее и экономнее масштабировать AI-приложения в production. Финансовые риски содержатся на уровне платформы, защита PII работает из коробки, логирование автоматически помогает при аудитах и compliance-проверках. LangSmith превращается в полноценную платформу управления LLM-агентами — от черновика в ноутбуке разработчика до масштабирования в продакшене с встроенным управлением и governance.