Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarLangChain Blog→ original

LangSmith mostra quanto custa cada PR mergeado feito por agentes de código

As empresas gastam cada vez mais com agentes de código, mas a maioria dos gestores não sabe o que exatamente compra com esses tokens. A LangChain adicionou ao LangSmith relatórios para esses agentes: cada gasto no trace é vinculado a um pull request no GitHub ou no GitLab. Agora é possível ver quanto custou um PR mergeado e quanto dinheiro foi para sessões que nunca resultaram em PR. Na prática: comece por um repositório e compare o custo do PR antes e depois de trocar de modelo.

Processado por IA de LangChain Blog; editado por Hamidun News
LangSmith mostra quanto custa cada PR mergeado feito por agentes de código
Fonte: LangChain Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalLangChain Blog ↗
Editor-chefe
Dado-chave #1Suporte a Claude Code, Cursor, Copilot e ao Deep Agents, de código aberto
Dado-chave #2Gastos sem PR, como revisão e análise de código, são contabilizados separadamente
Beta no LangSmith Cloudo plugin para Claude Code se instala com três comandos

Em muitas equipes, os gastos com agentes de código crescem mais rápido do que a compreensão do que foi obtido com esse dinheiro. A fatura do provedor mostra tokens, mas o gestor precisa de resposta para outra pergunta: quanto custa uma unidade de trabalho concluído. A LangChain tentou fechar essa lacuna no LangSmith e adicionou relatórios voltados a agentes de código.

O que exatamente foi adicionado

O LangSmith ganhou o conceito de outcomes, ou "resultados". Ele conecta um pull request no GitHub ou um merge request no GitLab às sessões (threads) em que o agente trabalhou nele. O custo de cada trace é distribuído automaticamente entre os PRs em que o agente colocou a mão.

A relação não precisa ser de "um para um". Em uma única sessão, o agente pode abrir vários PRs, e um mesmo PR às vezes exige trabalho em várias sessões. O sistema contempla os dois casos, então os números refletem o trabalho real, e não um esquema simplificado.

Os agentes de código se tornaram o primeiro tipo especializado de agente no LangSmith. Cada tipo tem seu próprio dashboard, seus próprios dados conectados e seu próprio método de avaliação. Antes, a plataforma mostrava o custo de um trace isolado. Isso bastava para depuração manual, mas não para entender tendências de toda a equipe. A nova página de visão geral reúne esses números.

O que aparece no dashboard

Os principais indicadores ficam na primeira tela, e um clique em qualquer métrica abre sua evolução ao longo do tempo. Se a equipe trocou de modelo, é possível comparar os períodos antes e depois.

Os gastos são divididos pelo estado do PR: aberto, fechado sem merge ou mergeado. Assim, dá para ver quanto dinheiro virou código aceito e quanto foi para tarefas fechadas ou paradas.

Uma categoria à parte chama-se unattributed, ou seja, gasto sem vínculo com PR. Nela entram as sessões em que o agente revisou código ou investigou um problema e não criou PR. Isso não é necessariamente dinheiro desperdiçado: com um clique, é possível abrir as próprias sessões e conferir o que aconteceu nelas.

As sessões são classificadas automaticamente por tipo de tarefa: novas features, correção de bugs, investigação, revisão. Para cada tipo, aparecem a participação nas sessões e a participação no custo. O que considerar irrelevante é decisão da organização. Por exemplo, uma equipe que usa o agente só para backend pode marcar pedidos como "escreva um texto publicitário".

Além disso, o dashboard mostra quais skills os agentes chamam, os PRs mais caros e como o custo cresce conforme o tamanho da conversa. Cada métrica leva a uma conversa específica.

Como usar

A LangChain sugere alguns cenários:

  • Aprendizado dentro da equipe. Se um engenheiro obtém PRs mergeados bem mais baratos que outro, vale descobrir o que ele faz de diferente e compartilhar. Causas típicas de PRs caros: uma sessão que não parou de crescer ou um modelo de topo acionado para uma correção pequena.
  • Sessões curtas. Cada novo turno da conversa carrega todo o contexto acumulado, por isso o dinheiro se concentra em sessões muito longas. O hábito de manter uma única conversa aberta para várias tarefas sai caro. Os autores lembram que a Anthropic também recomenda limpar o contexto entre tarefas, e o dashboard mostrará se o hábito mudou depois dessa orientação.
  • Escolha de modelo. Quando um novo modelo é lançado, dá para comparar o custo do PR mergeado antes e depois da troca. Um novo provedor pode rodar em paralelo ao atual, com preço e resultado comparados na mesma janela. Se os subagentes forem migrados para um modelo mais barato, aparecem tanto a economia quanto a informação de se os PRs continuam sendo mergeados.
  • Skills. Se determinada skill aparece o tempo todo em sessões longas e caras, talvez sua instrução esteja levando o agente a passos desnecessários. Se ela aparece mais em sessões curtas com PR mergeado, vale distribuí-la para o restante da equipe.
  • Conversa com o financeiro. O custo do PR mergeado mostra quanto custa uma unidade de trabalho entregue. Ao lado dele fica o gasto sem PR, por isso um custo alto nem sempre indica um processo ruim.

Suporte a agentes e lançamento

Muitas equipes não ficam presas a uma única ferramenta: alguns trabalham no Claude Code, outros no Cursor ou no Copilot, e as equipes de plataforma montam seus próprios agentes sobre um harness aberto como o Deep Agents. O LangSmith reúne os traces de todos em um só lugar, em vez de espalhar os números pelos consoles de cada fornecedor.

O recurso está disponível em beta público no LangSmith Cloud, e os traces dos agentes de código entram no limite normal de traces. A configuração tem três passos: instalar o plugin do LangSmith para cada agente em uso, abrir a página de visão geral de agentes de código e aguardar as primeiras sessões. No Claude Code, o plugin se instala com dois comandos /plugin dentro da sessão, depois de adicionar o marketplace langchain-ai/langsmith-claude-code-plugins.

O que levar em conta

Este é um material da própria LangChain e não traz medições independentes de economia. O PR mergeado continua sendo uma medida grosseira de valor: ele não diz nada sobre a qualidade do código, e revisão e pesquisa são tarefas que o agente faz sem gerar PR. A métrica serve como ponto de referência. O mais prático é começar com um agente e um repositório, olhar a divisão por PR e só depois comparar modelos e políticas.

História

Perguntas frequentes sobre a notícia

O que exatamente foi adicionado?

O LangSmith ganhou o conceito de outcomes, ou "resultados". Ele conecta um pull request no GitHub ou um merge request no GitLab às sessões (threads) em que o agente trabalhou nele. O custo de cada trace é distribuído automaticamente entre os PRs em que o agente colocou a mão. A relação não precisa ser de "um para um". Em uma única sessão, o agente pode abrir vários PRs, e um mesmo PR às vezes exige trabalho em várias sessões.

O que aparece no dashboard?

Os principais indicadores ficam na primeira tela, e um clique em qualquer métrica abre sua evolução ao longo do tempo. Se a equipe trocou de modelo, é possível comparar os períodos antes e depois. Os gastos são divididos pelo estado do PR: aberto, fechado sem merge ou mergeado. Assim, dá para ver quanto dinheiro virou código aceito e quanto foi para tarefas fechadas ou paradas. Uma categoria à parte chama-se unattributed, ou seja, gasto sem vínculo com PR.

Como usar?

A LangChain sugere alguns cenários: Aprendizado dentro da equipe. Se um engenheiro obtém PRs mergeados bem mais baratos que outro, vale descobrir o que ele faz de diferente e compartilhar. Causas típicas de PRs caros: uma sessão que não parou de crescer ou um modelo de topo acionado para uma correção pequena. Sessões curtas. Cada novo turno da conversa carrega todo o contexto acumulado, por isso o dinheiro se concentra em sessões muito longas.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…