New Computer mejora un 50 % la precisión de la búsqueda en la memoria de su agente con LangSmith

La startup New Computer aumentó un 50 % la precisión de la búsqueda en el sistema de memoria de su agente de IA con la herramienta de observabilidad LangSmith. El éxito no se debe a una arquitectura nueva, sino a una metodología disciplinada de pruebas de prompts.

Por qué los agentes necesitan memoria a largo plazo

El producto de New Computer es un asistente personal de IA que recuerda de verdad al usuario: sus preferencias, conversaciones pasadas, hábitos y contexto vital. Este enfoque distingue de forma fundamental al asistente de un chatbot corriente, que empieza de cero cada vez.

Implementar memoria a largo plazo es técnicamente complejo. No basta con guardar todo lo dicho y enviarlo al contexto del modelo en cada consulta: el volumen de datos crece y el coste de las peticiones hace inviable ese enfoque. En su lugar, los sistemas de memoria se basan en la búsqueda: de la base acumulada solo se extraen los fragmentos relevantes.

Aquí entra en juego la métrica de recall (exhaustividad de la búsqueda): con qué frecuencia el sistema encuentra justo los recuerdos que se necesitan en ese momento. Un recall bajo significa que el agente «no recuerda» detalles importantes incluso cuando están en la base. Para un asistente personal, es un problema crítico.

Qué aportó LangSmith

LangSmith es una herramienta de observabilidad de LangChain: registra cada paso del funcionamiento de una aplicación con LLM, permite crear conjuntos de datos de prueba y comparar versiones del sistema en una interfaz clara. El equipo de New Computer montó un proceso iterativo en torno a varias funciones:

• Comparison View — comparación visual de dos ejecuciones: se ve qué escenarios mejoraron y cuáles empeoraron
• Seguimiento de regresiones — detección automática de los casos en que la nueva versión del sistema rinde peor que la anterior
• Ciclo rápido de iteraciones — cambiar el prompt → lanzar la prueba → comparar resultados → aceptar o revertir
• Registro de conversaciones — el historial completo de peticiones ayudó a identificar patrones en los que la búsqueda en memoria fallaba

La idea principal: sin una comparación estructurada, las regresiones pasaban inadvertidas. Cuando un prompt mejoraba unos escenarios, rompía otros sin que nadie lo notara. LangSmith hizo visibles esas roturas de inmediato, antes de que los cambios llegaran a producción.

De la intuición a resultados medibles

Antes de adoptar LangSmith, el equipo trabajaba con el criterio de «lo probamos y parece mejor». Las valoraciones subjetivas no permitían comparar versiones con seguridad: demasiadas variables y muy pocos datos medibles.

Tras pasar a las pruebas comparativas, cada cambio de prompt empezó a pasar por un conjunto de escenarios de prueba. Los resultados se registraban y se contrastaban con la versión anterior, y los cambios solo se aceptaban tras una mejora confirmada. La regresión dejó de ser un «algo se ha roto» aleatorio y pasó a ser un problema diagnosticable y controlable.

El resultado es un aumento del recall del 50 %: el agente encuentra una vez y media más a menudo los recuerdos relevantes de conversaciones pasadas. Para un asistente personal, cuyo valor se mide por la calidad de su memoria, es una mejora fundamental del producto.

Qué significa

El caso de New Computer muestra que la calidad de un producto de IA hoy no depende solo de la arquitectura o de la elección del modelo base, sino también del sistema de observabilidad. Los equipos que ven sus regresiones en tiempo real iteran más rápido, y eso se traduce directamente en métricas.

Herramientas como LangSmith llevan el desarrollo de aplicaciones con LLM del modo «parece que funciona» a mejoras medibles y reproducibles.