Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РазборКод / SDK · В работуLangChain Blog→ оригинал

LangSmith показал, сколько стоит один смёрженный PR от кодинг-агентов

Компании тратят на кодинг-агентов всё больше, но что именно они покупают за эти токены, большинство руководителей не знает. LangChain добавила в LangSmith отчёты для таких агентов: каждый расход в трейсе привязывается к pull request на GitHub или GitLab. Теперь видно, сколько стоил один смёрженный PR и сколько денег ушло на сессии, которые до PR так и не дошли. Практика: начните с одного репозитория и сравните цену PR до и после смены модели.

AI-обработка оригинала LangChain Blog; редакция Hamidun News
LangSmith показал, сколько стоит один смёрженный PR от кодинг-агентов
Источник: LangChain Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникLangChain Blog ↗
Главный редактор
Ключевой факт #1Поддерживаются Claude Code, Cursor, Copilot и открытый Deep Agents
Ключевой факт #2Расходы без PR, например ревью и разбор кода, учитываются отдельно
Бета в LangSmith Cloudплагин для Claude Code ставится тремя командами

Расходы на кодинг-агентов у многих команд растут быстрее, чем понимание того, что за эти деньги получено. Счёт от провайдера показывает токены, а руководителю нужен ответ на другой вопрос: сколько стоит одна единица готовой работы. LangChain попыталась закрыть этот разрыв в LangSmith и добавила отчётность, заточенную под кодинг-агентов.

Что именно добавили

В LangSmith появилось понятие outcomes, то есть «результаты». Оно связывает pull request на GitHub или merge request на GitLab с сессиями (threads), в которых агент над ним работал. Расход каждого трейса автоматически распределяется по PR, к которым агент приложил руку.

Связь не обязательно «один к одному». Из одной сессии агент может открыть несколько PR, а над одним PR иногда приходится работать в нескольких сессиях. Система учитывает оба случая, поэтому цифры отражают реальную работу, а не упрощённую схему.

Кодинг-агенты стали первым специализированным типом агентов в LangSmith. У каждого типа свой дашборд, свои подключённые данные и свой способ оценки. Раньше платформа показывала стоимость отдельного трейса. Для ручной отладки этого хватало, а для понимания трендов по всей команде нет. Новая обзорная страница собирает эти цифры вместе.

Что видно на дашборде

Главные показатели вынесены на первый экран, а по клику на любую метрику открывается её динамика во времени. Если команда сменила модель, можно сравнить периоды до и после.

Расходы делятся по состоянию PR: открыт, закрыт без слияния или смёржен. Так видно, сколько денег превратилось в принятый код, а сколько ушло в закрытые и зависшие задачи.

Отдельная корзина называется unattributed, то есть расход без привязки к PR. Туда попадают сессии, в которых агент ревьюил код или разбирал проблему и PR не создавал. Это не обязательно потраченные впустую деньги, и по клику можно открыть сами сессии и проверить, что там происходило.

Сессии автоматически размечаются по типу задачи: новые фичи, исправление багов, расследование, ревью. Для каждого типа показаны доля сессий и доля стоимости. Что считать нерелевантным, решает организация. Например, команда, которая использует агента только для бэкенда, может помечать запросы вроде «напиши рекламный текст».

Кроме того, дашборд показывает, какие навыки (skills) вызывают агенты, самые дорогие PR и то, как стоимость растёт с длиной диалога. Каждая метрика ведёт к конкретной переписке.

Как это использовать

LangChain предлагает несколько сценариев:

  • Обучение внутри команды. Если один инженер получает смёрженные PR заметно дешевле другого, стоит выяснить, что он делает иначе, и поделиться этим. Типичные причины дорогих PR: сессия, которая всё росла, или топовая модель, запущенная ради мелкой правки.
  • Короткие сессии. Каждый новый ход в диалоге тащит за собой весь накопленный контекст, поэтому деньги концентрируются в очень длинных сессиях. Привычка держать один диалог открытым на несколько задач дорого обходится. Авторы напоминают, что Anthropic тоже советует очищать контекст между задачами, а дашборд покажет, изменилась ли привычка после такого совета.
  • Выбор модели. При выходе новой модели можно сравнить стоимость смёрженного PR до и после перехода. Новый провайдер можно запустить параллельно с текущим и сравнить цену и результат в одном окне. Если перевести субагентов на более дешёвую модель, видно и экономию, и то, продолжают ли PR сливаться.
  • Навыки. Если какой-то skill постоянно встречается в длинных дорогих сессиях, возможно, его инструкция гоняет агента лишними шагами. Если он чаще всего в коротких сессиях с мёрженным PR, его стоит раздать остальным.
  • Разговор с финансами. Стоимость смёрженного PR показывает, во сколько обходится единица сделанной работы. Рядом лежит расход без PR, поэтому высокая цена не всегда означает плохой процесс.

Поддержка агентов и запуск

Многие команды не сидят на одном инструменте: кто-то работает в Claude Code, кто-то в Cursor или Copilot, а платформенные команды собирают своих агентов на открытой обвязке вроде Deep Agents. LangSmith собирает трейсы со всех в одно место, вместо того чтобы разбрасывать цифры по консолям разных вендоров.

Функция доступна в публичной бете в LangSmith Cloud, трейсы кодинг-агентов идут в обычный лимит трейсов. Настройка занимает три шага: поставить плагин LangSmith для каждого используемого агента, открыть обзорную страницу кодинг-агентов и подождать первых сессий. В Claude Code плагин ставится двумя командами /plugin внутри сессии, после добавления маркетплейса langchain-ai/langsmith-claude-code-plugins.

Что стоит учесть

Это материал самой LangChain, и независимых замеров экономии в нём нет. Смёрженный PR остаётся грубой мерой пользы: он не говорит о качестве кода, а ревью и исследование агент делает без PR. Метрика полезна как точка отсчёта. Практичнее всего начать с одного агента и одного репозитория, посмотреть разбивку по PR и уже потом сравнивать модели и политики.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно добавили?

В LangSmith появилось понятие outcomes, то есть «результаты». Оно связывает pull request на GitHub или merge request на GitLab с сессиями (threads), в которых агент над ним работал. Расход каждого трейса автоматически распределяется по PR, к которым агент приложил руку. Связь не обязательно «один к одному». Из одной сессии агент может открыть несколько PR, а над одним PR иногда приходится работать в нескольких сессиях. Система учитывает оба случая, поэтому цифры отражают реальную работу, а не упрощённую схему.

Что известно по теме: что видно на дашборде?

Главные показатели вынесены на первый экран, а по клику на любую метрику открывается её динамика во времени. Если команда сменила модель, можно сравнить периоды до и после. Расходы делятся по состоянию PR: открыт, закрыт без слияния или смёржен. Так видно, сколько денег превратилось в принятый код, а сколько ушло в закрытые и зависшие задачи. Отдельная корзина называется unattributed, то есть расход без привязки к PR. Туда попадают сессии, в которых агент ревьюил код или разбирал проблему и PR не создавал.

Что известно по теме: как это использовать?

LangChain предлагает несколько сценариев: Обучение внутри команды. Если один инженер получает смёрженные PR заметно дешевле другого, стоит выяснить, что он делает иначе, и поделиться этим. Типичные причины дорогих PR: сессия, которая всё росла, или топовая модель, запущенная ради мелкой правки. Короткие сессии. Каждый новый ход в диалоге тащит за собой весь накопленный контекст, поэтому деньги концентрируются в очень длинных сессиях. Привычка держать один диалог открытым на несколько задач дорого обходится.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…