LangSmith научился сравнивать дообученные open-source LLM с автоматической оценкой

نشرت LangChain دليلاً لاختبار ومقارنة نماذج اللغة مفتوحة المصدر المضبوطة في LangSmith — منصة لتقييم ومراقبة وتصحيح تطبيقات LLM. يصف الدليل كيفية تشغيل نماذج fine-tuned متعددة بالتوازي وأتمتة تقييم النتائج واختيار أفضل نسخة للنشر بناءً على البيانات.

لماذا نختبر نماذج fine-tuned

Fine-tuning هو تكييف نموذج أساسي على بيانات متخصصة. في عام 2025، تقوم الفرق بنشاط بضبط Llama و Mistral و Falcon و Phi والنماذج مفتوحة المصدر الأخرى للمهام المحددة: البحث في الشركات وإنشاء الأكواد وتصنيف طلبات العملاء والإجابات في المجالات المتخصصة. المشكلة هي أن نتائج الضبط الدقيق غير مضمونة.

قد يعاني النموذج من الإفراط في التدريب على الأمثلة التدريبية وفقدان الكفاءة العامة. قد لا يتفوق على النموذج الأصلي مع موجه نظام جيد. أخيراً، يمكن لعمليتي تدريب بنفس البيانات لكن بمعاملات مختلفة أن تنتج جودة مختلفة بشكل جذري — وفهم هذا دون اختبار مستحيل.

أضف إلى ذلك أن تدريب النموذج يستغرق ساعات ويكلف عشرات أو مئات الدولارات. بدون نظام تقييم، تخمن الفرق ببساطة الفائز أو تنفق نفس القدر من الموارد على التحقق اليدوي من الإجابات. تقدم LangSmith طريقة ثالثة.

ماذا يمكن لـ LangSmith أن تفعل

تنظم المنصة الاختبارات في خط أنابيب موحد:

• مجموعات البيانات — قم بتحميل مجموعة من الأمثلة الاختبارية مع الاستفسارات والإجابات المرجعية
• عمليات متوازية — يتم تشغيل نماذج متعددة على نفس مجموعة البيانات في نفس الوقت
• التقييم التلقائي — LLM-judge أو دالة مقياس مخصصة: الدقة و F1 وامتثال الصيغة والمقاييس المخصصة
• تقرير مقارن — جدول واحد مع النتائج عبر جميع المقاييس
• التتبع — لكل عملية استدعاء، يمكنك رؤية بيانات الإدخال وإخراج النموذج والتقييم المستلم

بعيداً عن المقارنة المباشرة "النموذج أ مقابل النموذج ب"، تسمح LangSmith بمقارنة نقاط تفتيش مختلفة من تدريب واحد وإصدارات مختلفة من مجموعات بيانات التدريب واستراتيجيات ضبط دقيق مختلفة ضمن تجربة واحدة.

مثال: ثلاث نقاط تفتيش على مجموعة بيانات واحدة

سيناريو نموذجي: تقوم فريق بضبط دقيق لـ Llama 3.1 8B على الأسئلة الشائعة في الشركة في ثلاث متغيرات — مع عدد فترات وأسعار تعليمية مختلفة. في LangSmith، يتم إنشاء مجموعة بيانات من 200 سؤال حقيقي من المستخدمين.

تعمل الإصدارات الثلاثة بالتوازي، وتقيم LLM-judge كل إجابة على مقياس من 1 إلى 5. يوضح الجدول الناتج على الفور أي نقطة تفتيش تقدم أفضل جودة بسرعة استجابة مقبولة. بدون LangSmith، تتطلب هذه العملية برامج نصية مخصصة لكل عملية تشغيل ودمج يدوي للنتائج.

يضيف التتبع المدمج ميزة أخرى: لكل إجابة "سيئة"، يمكنك فتح التتبع الخاص بها وفهم ما حدث خطأ — لم يفهم النموذج السؤال أو أجاب بصيغة خاطئة أو أخطأ المقيم. هذا النهج مهم بشكل خاص عند التكرار على مجموعة بيانات التدريب: رؤية ديناميكية الجودة بعد كل تغيير في البيانات هي أساس التحسينات السريعة والهادفة.

ماذا يعني هذا

يتحول الضبط الدقيق لنماذج مفتوحة المصدر من ممارسة متخصصة لباحثي الذكاء الاصطناعي إلى أداة قياسية لفرق المنتجات. تسد LangSmith فجوة أساسية: بين التدريب والنشر، هناك الآن مرحلة تقييم منظمة ذات مقاييس رقمية. هذا يقلل من خطر نشر نسخة أسوأ من الأصل ويجعل عملية صنع القرار شفافة — ليس "يبدو أفضل"، بل "إليك الأرقام".