New Computer améliore de 50 % la précision de la recherche dans la mémoire de son agent grâce à LangSmith

La start-up New Computer a amélioré de 50 % la précision de la recherche dans le système de mémoire de son agent d'IA grâce à l'outil d'observabilité LangSmith. Ce succès ne repose pas sur une nouvelle architecture, mais sur une méthodologie rigoureuse de test des prompts.

Pourquoi les agents ont besoin d'une mémoire à long terme

Le produit de New Computer est un assistant personnel d'IA qui se souvient réellement de l'utilisateur : ses préférences, ses conversations passées, ses habitudes et son contexte de vie. Cette approche distingue fondamentalement l'assistant d'un chatbot ordinaire, qui repart de zéro à chaque fois.

Mettre en œuvre une mémoire à long terme est techniquement loin d'être trivial. On ne peut pas simplement enregistrer tout ce qui a été dit et le renvoyer dans le contexte du modèle à chaque requête : le volume de données augmente, et le coût des requêtes rend cette approche non viable. Les systèmes de mémoire reposent donc sur la recherche : seuls les fragments pertinents sont extraits de la base accumulée.

C'est ici qu'intervient la métrique de recall (rappel de la recherche) : à quelle fréquence le système retrouve précisément les souvenirs dont on a besoin à cet instant. Un recall faible signifie que l'agent « ne se souvient pas » de détails importants, même lorsqu'ils figurent dans la base. Pour un assistant personnel, c'est un problème critique.

Ce qu'a apporté LangSmith

LangSmith est un outil d'observabilité de LangChain : il journalise chaque étape du fonctionnement d'une application LLM, permet de créer des jeux de données de test et de comparer des versions du système dans une interface claire. L'équipe de New Computer a bâti un processus itératif autour de plusieurs fonctions :

• Comparison View — comparaison visuelle de deux exécutions : on voit quels scénarios se sont améliorés et lesquels se sont dégradés
• Suivi des régressions — détection automatique des cas où la nouvelle version du système fait moins bien que la précédente
• Cycle d'itération rapide — modifier le prompt → lancer le test → comparer les résultats → accepter ou annuler
• Journalisation des conversations — l'historique complet des requêtes a aidé à repérer les schémas dans lesquels la recherche en mémoire échouait

L'enseignement principal : sans comparaison structurée, les régressions restaient invisibles. Quand un prompt améliorait certains scénarios, il en cassait d'autres sans que personne s'en aperçoive. LangSmith a rendu ces ruptures visibles immédiatement, avant que les modifications n'arrivent en production.

De l'intuition à des résultats mesurables

Avant LangSmith, l'équipe fonctionnait selon le principe « on a essayé, ça semble mieux ». Les évaluations subjectives ne permettaient pas de comparer les versions avec assurance : trop de variables, trop peu de données mesurables.

Après le passage aux tests comparatifs, chaque modification de prompt a été soumise à un ensemble de scénarios de test. Les résultats étaient consignés et confrontés à la version précédente, et les changements n'étaient acceptés qu'après une amélioration confirmée. La régression est passée d'un « quelque chose s'est cassé » aléatoire à un problème diagnostiquable et maîtrisable.

Résultat : un gain de 50 % de recall. L'agent retrouve une fois et demie plus souvent les souvenirs pertinents issus des conversations passées. Pour un assistant personnel, dont la valeur se mesure à la qualité de sa mémoire, c'est une amélioration fondamentale du produit.

Ce que cela signifie

Le cas de New Computer montre que la qualité d'un produit d'IA ne dépend plus seulement de l'architecture ou du choix du modèle de base, mais aussi du système d'observabilité. Les équipes qui voient leurs régressions en temps réel itèrent plus vite, et cela se traduit directement dans les métriques.

Des outils comme LangSmith font passer le développement d'applications LLM du mode « ça a l'air de fonctionner » à celui d'améliorations mesurables et reproductibles.