New Computer Elevou a Precisão de Busca de Memória do Agente em 50% com LangSmith

A startup New Computer conseguiu um aumento de 50% na precisão de recall do sistema de memória de seu agente de IA usando a ferramenta de observabilidade LangSmith. O sucesso se baseia não em uma nova arquitetura, mas em uma metodologia disciplinada de teste de prompts.

Por Que Agentes de IA Precisam de Memória de Longo Prazo

O produto da New Computer é um assistente de IA pessoal que realmente se lembra do usuário: suas preferências, conversas passadas, hábitos e contexto de vida. Esta abordagem fundamentalmente distingue o assistente de um chatbot regular, que começa do zero cada vez.

Implementar memória de longo prazo é tecnicamente não trivial. Você não pode simplesmente salvar tudo dito e enviá-lo para o contexto do modelo cada vez: o volume de dados cresce e o custo das solicitações torna esta abordagem inviável. Em seu lugar, os sistemas de memória são construídos sobre um princípio de busca: do banco de dados acumulado, apenas fragmentos relevantes são extraídos. É aqui que surge a métrica de recall (completude de busca): com que frequência o sistema encontra exatamente as memórias necessárias agora. Recall baixo significa que o agente "esquece" detalhes importantes mesmo quando existem no banco de dados. Para um assistente pessoal, isto é um problema crítico.

O Que LangSmith Forneceu

LangSmith é uma ferramenta de observabilidade de LangChain: registra cada etapa do trabalho de uma aplicação LLM, permite que você crie conjuntos de dados de teste e compare versões do sistema em uma interface visual. O time da New Computer construiu um processo iterativo em torno de várias funções:

• Visão de Comparação — correspondência visual de duas execuções: veja quais cenários melhoraram e quais regredirão
• Rastreamento de regressão — detecção automática de casos onde a nova versão do sistema funciona pior que a anterior
• Ciclo de iteração rápido — mudou o prompt → executou o teste → comparou resultados → aceitou ou reverteu
• Registro de conversa — histórico completo de consultas ajudou a identificar padrões onde a busca de memória falhou

O insight chave: sem comparação estruturada, as regressões permaneceram invisíveis. Quando um prompt melhorava alguns cenários, silenciosamente quebrava outros. LangSmith tornou essas quebras visíveis imediatamente — antes que as mudanças chegassem à produção.

De Intuição para Resultados Mensuráveis

Antes de implementar LangSmith, o time operava no princípio "tentamos — parece melhor". Avaliações subjetivas não permitiam comparar versões com confiança: muitas variáveis, muito pouco dado mensurável. Após mudar para testes comparativos, cada mudança de prompt passou por um conjunto de cenários de teste. Os resultados foram registrados, comparados com a versão anterior — e apenas após melhoria confirmada as mudanças foram aceitas.

Regressão se tornou um problema diagnosticável e gerenciável em vez de aleatório "algo quebrou". O resultado — melhoria de 50% em recall: o agente se tornou 1,5 vezes mais provável encontrar memórias relevantes de conversas passadas. Para um assistente pessoal cujo valor é medido pela qualidade da memória — esta é uma melhoria fundamental do produto.

O Que Isso Significa

O caso da New Computer demonstra: a qualidade do produto de IA hoje é determinada não apenas por arquitetura ou escolha do modelo base, mas pelo sistema de observabilidade. Times que veem suas regressões em tempo real iteram mais rápido — e isto se converte diretamente em métricas. Ferramentas como LangSmith movem o desenvolvimento de aplicações LLM do modo "parece funcionar" para o modo de melhorias mensuráveis e reproduzíveis.