LangSmith ganha AI Search: traces de agentes agora podem ser buscados pela descrição do comportamento

A LangChain adicionou ao LangSmith o modo AI Search: agora é possível buscar traces em linguagem natural. O desenvolvedor descreve o comportamento que procura, e a plataforma retorna as execuções em que ele aconteceu. O anúncio saiu em 13 de outubro de 2026 e é curto: apresenta a ideia, mas não cita o modelo, os limites nem o preço. Ainda assim, a proposta mira uma dor antiga de quem opera agentes em produção.

O que exatamente foi lançado

O LangSmith é a plataforma de observabilidade e avaliação criada pela equipe do LangChain. Cada execução de um agente é registrada como um trace: a cadeia de chamadas ao modelo, às ferramentas, os raciocínios intermediários e as respostas. Quando o agente já está em operação há algum tempo, os traces se acumulam aos milhares.

Até agora, a busca era feita por campos estruturados: status, duração, tags, nome da ferramenta, custo. Isso funciona quando você já sabe qual atributo procurar. O AI Search muda a entrada. Em vez de um conjunto de condições, você escreve uma frase como "o usuário ficou irritado com a resposta" ou "o agente chama a mesma ferramenta repetidamente". O próprio sistema decide quais traces correspondem à descrição.

Principais fatos do anúncio:

• Formato da consulta: linguagem natural, sem sintaxe especial.
• Critério de busca: o comportamento do agente, e não os valores de campos.
• Resultado: um conjunto de traces em que esse comportamento ocorreu.
• Data do anúncio: 13 de outubro de 2026, blog da LangChain.
• Não divulgado: o modelo que interpreta as consultas, limites, preço e idiomas de consulta suportados.

Por que a busca por comportamento faz sentido justamente para agentes

Em um serviço convencional, a falha aparece como um erro 500 ou um pico de latência. O agente quebra de forma mais sutil. Ele pode concluir a tarefa formalmente e, mesmo assim, fazer uma dezena de chamadas desnecessárias, ignorar uma instrução do prompt de sistema ou inventar dados com toda a confiança. O status desse trace será "sucesso", e um filtro por status não vai exibi-lo.

Por isso, as equipes acabam lendo amostras de traces à mão ou escrevendo avaliadores específicos para cada tipo de problema. A busca por descrição inverte a ordem do trabalho. Primeiro você formula uma hipótese ("parece que o agente se confunde quando o usuário muda as condições no meio da conversa") e, em seguida, já vê exemplos. Com os bons exemplos, é possível montar depois um conjunto de testes ou um avaliador.

Para a LangChain, é um movimento lógico. Concorrentes em observabilidade de LLMs, da Langfuse à Arize e à Braintrust, também caminham para a análise semântica de traces. Um produto que vive de dados sobre o que os agentes fizeram naturalmente ganha uma camada que permite consultar esses dados.

O que ainda fica em aberto

O texto do anúncio deixa vários pontos sem resposta, e deles depende o valor real da função.

Primeiro, a precisão. Uma busca semântica sobre traces longos, com chamadas aninhadas, pode deixar escapar o que importa ou trazer ruído. A taxa de omissões ainda não foi publicada.

Segundo, a escala. Não se sabe se o sistema busca em todo o projeto ou apenas em uma janela de tempo selecionada, nem quanto isso custa em tokens.

Terceiro, a privacidade. Os traces costumam conter dados de usuários. Equipes com requisitos rígidos vão querer saber qual modelo lê seus traces e onde ele roda.

Como usar na prática

Se seus agentes já gravam traces no LangSmith, vale testar a função em problemas conhecidos. Pegue de três a cinco casos que você já encontrou manualmente, descreva-os em frases e compare o resultado com o que você sabe. Assim, dá para avaliar rapidamente a cobertura e o ruído.

Formule as consultas a partir de uma ação observável, e não de um julgamento: "o agente chamou a busca mais de três vezes seguidas" é mais confiável do que "o agente foi mal". Vale salvar os traces encontrados em um dataset para testes de regressão, para que uma descoberta pontual vire uma verificação permanente.

Por fim, enquanto a LangChain não publicar números de qualidade e custo, trate o AI Search como uma forma rápida de reconhecimento, e não como a única fonte da verdade sobre o comportamento do agente. Cenários críticos ainda são mais bem cobertos por avaliadores e métricas explícitos.