LangSmith présente LLM Gateway : contrôle des dépenses et PII pour les agents AI

LangSmith, la plateforme de développement et de débogage des applications LLM de LangChain, a présenté une passerelle LLM intégrée. C'est un nouvel outil qui permet aux développeurs de contrôler les dépenses liées aux appels de grands modèles de langage, de protéger les données des utilisateurs et de suivre chaque appel en temps réel. La gestion se fait directement depuis l'environnement de développement, sans installation de services supplémentaires.

Comment fonctionne

Gateway LLM Gateway est intégré directement dans LangSmith et fonctionne au niveau runtime, au moment de l'exécution de la requête. L'outil s'intercale entre le code de l'agent et le service du fournisseur LLM (OpenAI, Anthropic, Google, etc.), intercepte chaque requête, la vérifie par rapport aux règles établies et peut appliquer les transformations nécessaires avant d'envoyer sur le serveur.

Auparavant, le développeur devait soit écrire son propre middleware, soit se fier à la journalisation après l'exécution de la requête, quand il était trop tard. Maintenant, Gateway s'intègre automatiquement, sans modifications du code de l'application. Cela simplifie le déploiement en production et rend le contrôle plus fiable.

Pour les grandes organisations ayant de nombreuses applications AI, cette intégration est critique. La plateforme devient non seulement un système de journalisation, mais aussi un outil actif de gestion des dépenses LLM et de sécurité en temps réel.

Trois capacités clés

Gateway se concentre sur trois problèmes rencontrés par les développeurs travaillant avec des agents AI : Contrôle des dépenses et du budget — définition de limites strictes sur le nombre de tokens ou le coût direct des requêtes, avec une granularité variable : au niveau d'un agent individuel, d'un utilisateur, d'une organisation entière ou d'une clé API Protection des données personnelles (édition PII) — suppression automatique des informations sensibles (numéros de carte de crédit, numéros de sécurité sociale, emails, adresses physiques, numéros de documents) des invites AVANT l'envoi au serveur * Traçabilité complète — enregistrement détaillé de chaque appel LLM avec des informations sur la version du modèle, les paramètres, le temps de réponse et le coût Le problème des fuites de données personnelles est particulièrement aigu dans les applications en production. En pratique, le développeur ne peut souvent pas contrôler complètement quelles données utilisateur se retrouvent dans les invites, via l'API, la journalisation ou l'entrée de l'utilisateur. Gateway fonctionne comme un filtre : il nettoie les valeurs dangereuses avant l'envoi et enregistre le fait de l'édition, pour que les équipes de conformité et de sécurité sachent où se trouvait le risque et comment il a été traité.

Le contrôle financier est aussi crucial. Les grands modèles de langage sont coûteux, et les agents complexes font souvent une douzaine d'appels en une seule session utilisateur. Quand les limites sont établies au niveau de la plateforme (pas manuellement dans le code), les dépenses budgétaires incontrôlées deviennent impossibles.

Intégration dans le flux de travail

La caractéristique principale de Gateway est qu'il ne s'agit pas d'un microservice séparé à installer et configurer indépendamment. C'est un composant intégré de LangSmith. Le développeur ouvre le tableau de bord de la plateforme, active les règles souhaitées (limites de dépenses, modèles PII, limites de taux), et elles commencent à fonctionner immédiatement pour tous les agents. Cela réduit la complexité du développement et du déploiement. Quand la gouvernance est intégrée à la plateforme principale, l'équipe ne dépense pas de temps et de ressources pour intégrer et surveiller un système séparé, et ne doit pas rechercher des bugs aux points de jonction des services.

C'est le premier outil de gouvernance qui soit intégré dans le cycle

de vie de l'agent, plutôt que simplement ajouté par-dessus.

Ce que cela signifie

Pour les développeurs : le contrôle des dépenses et la protection des données sont maintenant automatiques. Au lieu d'écrire des vérifications dans chaque requête, il suffit de configurer les règles une fois dans LangSmith. L'équipe peut se concentrer sur la logique de l'agent, tandis que les vérifications de routine fonctionnent automatiquement.

Pour les entreprises : il est plus sûr et moins coûteux de mettre à l'échelle les applications AI en production. Les risques financiers sont contenus au niveau de la plateforme, la protection PII fonctionne prête à l'emploi, et la journalisation aide automatiquement lors des audits et des vérifications de conformité. LangSmith devient une plateforme complète de gestion des agents LLM, du brouillon dans le carnet du développeur à la mise à l'échelle en production avec une gestion et une gouvernance intégrées.