ضاعفت Factory AI سرعة التكرارات باستخدام LangSmith من LangChain

Factory AI، شركة تطور وكلاء ذكاء اصطناعي لأتمتة كتابة الكود، ضاعفت سرعة التكرارات بعد دمج LangSmith: أداة LangChain لتتبع وتقييم خطوط أنابيب LLM سمحت بأتمتة حلقة التغذية الراجعة.

لماذا تعتبر القابلية للمراقبة مهمة

عندما يدخل منتج ذكاء اصطناعي إلى الإنتاج، تفقد الفرق في كثير من الأحيان الرؤية بشأن ما يحدث. يصبح من غير الواضح لماذا أعطى الوكيل إجابة خاطئة، وفي أي خطوة بالضبط انكسر خط الأنابيب، وأي تغيير في الموجه حسّن أو ساءَ سلوك النظام.

واجهت Factory AI هذا الاختناق الكلاسيكي: استغرق التصحيح ساعات، ولم يكن من الممكن دائماً إعادة إنتاج الأخطاء المحددة، وكانت التحليلات اليدوية للسجلات تبطئ كل عمل المنتج.

LangSmith هي منصة LangChain لتتبع وتقييم ومراقبة تطبيقات LLM. تلتقط كل خطوة من خطوات خط الأنابيب: الموجهات الواردة، استدعاءات النموذج، النتائج الوسيطة، الإجابات النهائية والكمون. يصبح التصحيح حتمياً: ترى الفريق لقطة دقيقة من كل طلب ويمكنها إعادة إنتاج أي حالة مباشرة من الإنتاج.

إغلاق حلقة التغذية الراجعة

كان التغيير الرئيسي هو أتمتة حلقة التغذية الراجعة. في السابق، كان المسار من "شكا المستخدم" إلى "وجدنا السبب" يستغرق وقتاً طويلاً جداً—خاصة عندما كانت المشكلة يصعب إعادة إنتاجها.

بعد دمج LangSmith، أسست فريق Factory AI عملية منظمة:

• كل طلب للوكيل يتم تتبعه وهو متاح للمراجعة التفصيلية في الوقت الفعلي

• تعمل التقييمات التلقائية (evals) على بيانات طازجة من الإنتاج دون تشغيل يدوي

• تتم مقارنة إصدارات الموجهات من خلال إطار عمل التجربة المدمج

• يتم عزل الانحدارات بعد النشر في دقائق، وليس ساعات

• تُضاف الحالات المشكلة الحقيقية تلقائياً إلى مجموعة بيانات الاختبار للتحقق المستقبلي

حلت النهج المنظمة محل التحليل اليدوي: يتم الآن اختبار كل تغيير مقابل حركة المرور الفعلية، وتوقفت الفريق عن الانتظار لتراكم الشكاوى لإدراك أن شيئاً ما ساء.

النتيجة: تكرارات أسرع بـ 2×

وفقاً إلى Factory AI، ضاعفت سرعة التكرارات. تم تقليل الدورة "غيرت الموجه → قيّمت على بيانات حقيقية → اتخذت قراراً" بمقدار النصف. ما كان يستغرق يوم عمل كاملاً يناسب الآن بضع ساعات.

بالنسبة لفرق المنتج، هذا مهم بشكل أساسي: كلما كانت الدورة أقصر، زاد عدد الفرضيات التي يمكن اختبارها لكل سباق، وكلما تحسنت جودة الوكلاء بسرعة أكبر، وكلما قل وقت الهندسة المصروف على عمل المحقق بدلاً من تطوير ميزات جديدة.

"لا يمكننا تحسين ما لا يمكننا قياسه"—يتم الآن تطبيق هذا المبدأ من

الهندسة الكلاسيكية أخيراً بشكل منهجي على منتجات LLM.

ماذا يعني هذا

تعكس حالة Factory AI اتجاهاً أوسع: تبدأ شركات الذكاء الاصطناعي في التعامل مع خطوط أنابيب LLM كأنظمة إنتاج حقيقية—مع القابلية للمراقبة والتنبيهات وإصدار الموجهات وعمليات تقييم CI/CD الصارمة.

بدون أدوات مثل LangSmith، تصبح التكرارات في منتجات ذكاء اصطناعي تخمينات، وتقضي الفرق الوقت في البحث عن المشاكل بدلاً من حلها.

بالنسبة للفرق التي لا تزال تعمل بدون مراقبة خط أنابيب LLM، هذه النتيجة دليل ملموس: الاستثمار في القابلية للمراقبة يؤتي ثماره بتسارع التطوير القابل للقياس وتقليل مشاكل "الظلام" في الإنتاج.