Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarLangChain Blog→ original

LangSmith chiffre le coût d'une PR fusionnée par les agents de programmation

Les entreprises dépensent de plus en plus pour les agents de programmation, mais la plupart des responsables ignorent ce qu'elles achètent réellement avec ces tokens. LangChain a ajouté à LangSmith des rapports dédiés à ces agents : chaque dépense d'une trace est rattachée à une pull request sur GitHub ou GitLab. On peut désormais voir combien a coûté une PR fusionnée et combien d'argent est parti dans des sessions qui n'ont jamais donné de PR. Conseil pratique : commencez par un seul dépôt et comparez le coût par PR avant et après un changement de modèle.

Traité par IA depuis LangChain Blog ; édité par Hamidun News
LangSmith chiffre le coût d'une PR fusionnée par les agents de programmation
Source : LangChain Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireLangChain Blog ↗
Rédacteur en chef
Chiffre clé #1Prise en charge de Claude Code, Cursor, Copilot et de l'outil open source Deep Agents
Chiffre clé #2Les dépenses sans PR, par exemple la revue de code et l'analyse, sont comptabilisées séparément
Bêta dans LangSmith Cloudle plugin pour Claude Code s'installe en trois commandes

Les dépenses liées aux agents de programmation augmentent dans de nombreuses équipes plus vite que la compréhension de ce qu'elles rapportent. La facture du fournisseur affiche des tokens, alors que le responsable a besoin de savoir combien coûte une unité de travail terminé. LangChain a tenté de combler cet écart dans LangSmith, en ajoutant un système de reporting conçu pour les agents de programmation.

Ce qui a été ajouté

LangSmith introduit la notion d'outcomes, c'est-à-dire de « résultats ». Elle relie une pull request sur GitHub ou une merge request sur GitLab aux sessions (threads) au cours desquelles l'agent a travaillé dessus. La dépense de chaque trace est automatiquement répartie entre les PR auxquelles l'agent a contribué.

La relation n'est pas forcément un pour un. Une même session peut donner lieu à plusieurs PR, et une PR peut nécessiter plusieurs sessions. Le système prend en compte ces deux cas, de sorte que les chiffres reflètent le travail réel et non un schéma simplifié.

Les agents de programmation sont le premier type d'agent spécialisé dans LangSmith. Chaque type dispose de son propre tableau de bord, de ses données connectées et de sa méthode d'évaluation. Auparavant, la plateforme affichait le coût d'une trace isolée, ce qui suffisait pour le débogage manuel mais pas pour comprendre les tendances à l'échelle de l'équipe. La nouvelle page de synthèse regroupe désormais ces chiffres.

Ce que montre le tableau de bord

Les indicateurs principaux figurent sur le premier écran, et un clic sur n'importe quelle métrique ouvre son évolution dans le temps. Si l'équipe a changé de modèle, on peut comparer les périodes avant et après.

Les dépenses sont réparties selon l'état de la PR : ouverte, fermée sans fusion ou fusionnée. On voit ainsi quelle part de l'argent s'est transformée en code accepté, et quelle part est partie dans des tâches fermées ou restées en suspens.

Une catégorie distincte s'appelle unattributed, c'est-à-dire les dépenses sans rattachement à une PR. Y figurent les sessions où l'agent a relu du code ou analysé un problème sans créer de PR. Ce ne sont pas forcément des dépenses inutiles, et un clic permet d'ouvrir les sessions elles-mêmes pour vérifier ce qui s'y est passé.

Les sessions sont automatiquement classées par type de tâche : nouvelles fonctionnalités, corrections de bugs, investigation, revue. Pour chaque type, le tableau indique la part des sessions et la part du coût. Ce qui est jugé non pertinent relève de l'organisation. Une équipe qui n'utilise l'agent que pour le backend peut par exemple marquer les requêtes du type « rédige un texte publicitaire ».

Le tableau de bord indique aussi les compétences (skills) appelées par les agents, les PR les plus coûteuses, et la manière dont le coût augmente avec la longueur du dialogue. Chaque métrique renvoie à l'échange concret qui la produit.

Comment l'utiliser

LangChain propose plusieurs scénarios :

  • Formation au sein de l'équipe. Si un ingénieur obtient des PR fusionnées nettement moins chères qu'un autre, il convient de comprendre ce qu'il fait différemment et de partager sa méthode. Les causes typiques de PR coûteuses sont une session qui n'en finit pas de grossir, ou un modèle haut de gamme lancé pour une petite correction.
  • Sessions courtes. Chaque nouveau tour de dialogue traîne tout le contexte accumulé, si bien que les dépenses se concentrent dans les sessions très longues. Garder une seule conversation ouverte pour plusieurs tâches coûte cher. Les auteurs rappellent qu'Anthropic conseille aussi de vider le contexte entre deux tâches, et le tableau de bord permettra de voir si cette pratique a changé après ce conseil.
  • Choix du modèle. À la sortie d'un nouveau modèle, on peut comparer le coût d'une PR fusionnée avant et après la bascule. Un nouveau fournisseur peut être lancé en parallèle de l'actuel, et le prix comme le résultat se comparent dans une seule fenêtre. Si les sous-agents passent à un modèle moins cher, on voit à la fois l'économie réalisée et si les PR continuent d'être fusionnées.
  • Compétences. Si une skill revient systématiquement dans les longues sessions coûteuses, son instruction pousse peut-être l'agent à multiplier les étapes inutiles. Si elle apparaît surtout dans des sessions courtes aboutissant à une PR fusionnée, il vaut la peine de la diffuser aux autres.
  • Discussion avec la direction financière. Le coût d'une PR fusionnée indique combien coûte une unité de travail réalisé. À côté figurent les dépenses sans PR, si bien qu'un prix élevé ne signifie pas toujours un mauvais processus.

Prise en charge des agents et lancement

De nombreuses équipes n'utilisent pas un seul outil : certaines travaillent dans Claude Code, d'autres dans Cursor ou Copilot, et les équipes plateforme construisent leurs propres agents sur une infrastructure ouverte comme Deep Agents. LangSmith rassemble les traces de tous ces outils en un seul endroit, plutôt que de disperser les chiffres entre les consoles de différents éditeurs.

La fonctionnalité est disponible en bêta publique dans LangSmith Cloud, et les traces des agents de programmation entrent dans la limite habituelle de traces. La configuration comporte trois étapes : installer le plugin LangSmith pour chaque agent utilisé, ouvrir la page de synthèse des agents de programmation et attendre les premières sessions. Dans Claude Code, le plugin s'installe avec deux commandes /plugin à l'intérieur d'une session, après l'ajout de la place de marché langchain-ai/langsmith-claude-code-plugins.

Points à garder en tête

Il s'agit d'un contenu publié par LangChain elle-même, et l'article ne contient aucune mesure indépendante des économies réalisées. La PR fusionnée reste une mesure grossière de l'utilité : elle ne dit rien de la qualité du code, et l'agent effectue aussi des revues et des recherches sans créer de PR. La métrique est utile comme point de repère. Le plus pratique est de commencer avec un seul agent et un seul dépôt, d'examiner la répartition par PR, puis seulement de comparer les modèles et les politiques d'usage.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été ajouté ?

LangSmith introduit la notion d'outcomes, c'est-à-dire de « résultats ». Elle relie une pull request sur GitHub ou une merge request sur GitLab aux sessions (threads) au cours desquelles l'agent a travaillé dessus. La dépense de chaque trace est automatiquement répartie entre les PR auxquelles l'agent a contribué. La relation n'est pas forcément un pour un. Une même session peut donner lieu à plusieurs PR, et une PR peut nécessiter plusieurs sessions.

Que sait-on sur Ce que montre le tableau de bord ?

Les indicateurs principaux figurent sur le premier écran, et un clic sur n'importe quelle métrique ouvre son évolution dans le temps. Si l'équipe a changé de modèle, on peut comparer les périodes avant et après. Les dépenses sont réparties selon l'état de la PR : ouverte, fermée sans fusion ou fusionnée. On voit ainsi quelle part de l'argent s'est transformée en code accepté, et quelle part est partie dans des tâches fermées ou restées en suspens.

Comment l'utiliser?

LangChain propose plusieurs scénarios : Formation au sein de l'équipe. Si un ingénieur obtient des PR fusionnées nettement moins chères qu'un autre, il convient de comprendre ce qu'il fait différemment et de partager sa méthode. Les causes typiques de PR coûteuses sont une session qui n'en finit pas de grossir, ou un modèle haut de gamme lancé pour une petite correction. Sessions courtes.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
Qu'en pensez-vous ?
Chargement des commentaires…