رفعت New Computer دقة البحث في ذاكرة الوكيل بنسبة 50% مع LangSmith

حققت شركة New Computer الناشئة زيادة بنسبة 50٪ في دقة الاسترجاع من نظام ذاكرة وكيلها الذكي باستخدام أداة المراقبة LangSmith. يستند النجاح ليس على معمارية جديدة، بل على منهجية انضباطية لاختبار المسارات.

لماذا تحتاج وكلاء الذكاء الاصطناعي إلى الذاكرة طويلة الأجل

منتج New Computer هو مساعد ذكاء اصطناعي شخصي يتذكر حقاً المستخدم: تفضيلاته والمحادثات الماضية والعادات والسياق الحياتي. يميز هذا النهج أساساً المساعد عن روبوت دردشة عادي يبدأ من حيث ينتهي في كل مرة.

تطبيق الذاكرة طويلة الأجل ليس تافهاً من الناحية التقنية. لا يمكنك ببساطة حفظ كل ما قيل وإرساله إلى سياق النموذج في كل مرة: يزداد حجم البيانات وتكلفة الطلبات تجعل هذا النهج غير قابل للحياة. بدلاً من ذلك، يتم بناء أنظمة الذاكرة على مبدأ البحث: من قاعدة البيانات المتراكمة، يتم استخراج الأجزاء ذات الصلة فقط. هنا تنشأ مقياس الاستدعاء (استكمالية البحث): في كثير من الأحيان يجد النظام بالضبط الذكريات المطلوبة الآن. يعني الاستدعاء المنخفض أن الوكيل "ينسى" التفاصيل المهمة حتى عندما تكون موجودة في قاعدة البيانات. بالنسبة للمساعد الشخصي، هذه مشكلة حرجة.

ما قدمته LangSmith

LangSmith أداة مراقبة من LangChain: تسجل كل خطوة من خطوات عمل تطبيق LLM وتسمح بإنشاء مجموعات بيانات اختبار ومقارنة إصدارات النظام في واجهة مرئية. بنت فريق New Computer عملية تكرارية حول عدة وظائف:

• عرض المقارنة — مطابقة مرئية لمدخلين: رؤية السيناريوهات التي تحسنت وأيها تدهورت
• تتبع الانحدار — الكشف التلقائي عن الحالات حيث تعمل نسخة النظام الجديدة بشكل أسوأ من السابقة
• دورة تكرار سريعة — غيرت المسار → أجرت الاختبار → قارنت النتائج → قبلت أو أرجعت
• تسجيل المحادثات — ساعد السجل الكامل للاستعلامات في تحديد الأنماط حيث فشل البحث في الذاكرة

الرؤية الأساسية: بدون مقارنة منظمة، بقيت الانحدارات غير مرئية. عندما يحسن المسار بعض السيناريوهات، كان يكسر الآخرين بصمت. جعلت LangSmith هذه الكسور مرئية فوراً — قبل وصول التغييرات إلى الإنتاج.

من الحدس إلى النتائج القابلة للقياس

قبل تطبيق LangSmith، كان الفريق يعمل بمبدأ "حاولنا — يبدو أفضل". لم تسمح التقييمات الذاتية بمقارنة الإصدارات بثقة: الكثير من المتغيرات وقليل جداً من البيانات القابلة للقياس. بعد الانتقال إلى الاختبار المقارن، مرت كل تغيير مسار عبر مجموعة من سيناريوهات الاختبار. تم تسجيل النتائج ومقارنتها بالإصدار السابق — وفقط بعد تحسن مؤكد تم قبول التغييرات.

أصبح الانحدار مشكلة قابلة للتشخيص والإدارة بدلاً من "انكسر شيء ما" عشوائي. النتيجة — تحسن بنسبة 50٪ في الاستدعاء: أصبح الوكيل 1.5 مرة أكثر عرضة للعثور على ذكريات ذات صلة من المحادثات السابقة. بالنسبة للمساعد الشخصي الذي تُقاس قيمته بجودة الذاكرة — هذا تحسن أساسي للمنتج.

ماذا يعني هذا

توضح حالة New Computer: تُحدد جودة منتج الذكاء الاصطناعي اليوم ليس فقط بالمعمارية أو اختيار النموذج الأساسي، بل بنظام المراقبة. الفرق التي ترى انحداراتها في الوقت الفعلي تكرر أسرع — وهذا يتحول مباشرة إلى المقاييس. تنقل الأدوات مثل LangSmith تطوير تطبيقات LLM من وضع "يبدو أنه يعمل" إلى وضع التحسينات القابلة للقياس والقابلة للتكرار.