Контроль расходов на AI: как работает LangSmith Gateway
LangSmith представил встроенный LLM Gateway — инструмент для управления AI-агентами на всех этапах разработки и развёртывания. С Gateway разработчики могут ставить финансовые лимиты на расходы LLM-запросов, удалять персональные данные (PII) из промптов автоматически, просматривать полные логи всех вызовов в реальном времени. Интеграция встроена прямо в LangSmith — без дополнительных плагинов и конфигураций.
AI-обработка оригинала LangChain Blog; редакция Hamidun News
LangSmith от LangChain представила LLM Gateway — встроенный инструмент для контроля расходов на нейросети, защиты данных пользователей и отслеживания каждого запроса в реальном времени.
Как контролировать расходы на LLM-модели без дополнительных сервисов?
LangSmith встроила инструмент LLM Gateway, который работает на уровне runtime в момент выполнения запроса и контролирует расходы на вызовы к OpenAI, Anthropic и другим провайдерам прямо из среды разработки.
Как защитить персональные данные в AI-агентах?
LLM Gateway позволяет защищать PII (личные данные пользователей) и отслеживать каждый вызов в реальном времени без дополнительной инфраструктуры.
Можно ли контролировать расходы на AI-приложения?
Да, LangSmith Gateway позволяет разработчикам контролировать расходы на вызовы больших языковых моделей, защищать данные пользователей и отслеживать каждый вызов в реальном времени прямо из среды разработки.
Как работает защита PII в LangSmith Gateway?
Gateway встроен в LangSmith и работает на уровне runtime, встраиваясь между кодом агента и сервисом LLM-провайдера (OpenAI, Anthropic и др.), защищая персональные данные пользователей.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.