LangChain تقارن بين GPT-4 وClaude ونماذج LLM مفتوحة المصدر في استخراج البيانات

نشر فريق LangChain في يوليو 2026 مادة بعنوان Extraction Benchmarking، وهي مقارنة لأداء نموذج GPT-4 من OpenAI ونماذج عائلة Claude من Anthropic ونماذج LLM مفتوحة في استخراج البيانات المهيكلة من سجلات الدردشة.

لماذا يُعدّ استخراج البيانات مهمة صعبة على نماذج LLM؟

يُعدّ استخراج البيانات المهيكلة (structured data extraction) من أكثر المهام العملية التي تتولاها نماذج LLM في بيئات الإنتاج. فالمطلوب تحويل نص غير مهيكل، سواء كان محادثة أو تذكرة دعم أو رسالة بريد إلكتروني، إلى JSON نظيف بالحقول المطلوبة: الاسم والتاريخ والمبلغ وحالة الطلب. تبدو المهمة بسيطة، لكن النماذج تتفاوت عملياً في التعامل مع الصياغات الملتبسة والبيانات الناقصة والحقول التي يجب استنتاجها منطقياً لا نسخها حرفياً.

• قارن الاختبار بين GPT-4 ونماذج Claude وعدة نماذج LLM مفتوحة
• مصدر البيانات المراد استخراجها هو سجلات الدردشة (chat logs)
• لم تقتصر المادة على النتائج، بل شملت أيضاً منهجية إنشاء مجموعة البيانات التقييمية

كيف يُبنى تقييم النماذج؟

لا تكفي دقة الاستخراج وحدها، أي تطابق قيمة الحقل مع القيمة المرجعية، لإجراء مقارنة عادلة بين النماذج في مهمة كهذه. تلزم أيضاً مقاييس أخرى، منها الاكتمال، أي هل أغفل النموذج حقلاً كان موجوداً في النص. ويلزم كذلك قياس الثبات في الالتزام بالصيغة، أي قدرة النموذج على إرجاع JSON صالح بصورة مستقرة ودون تعليقات أو شروحات زائدة. ولهذا لا يكتفي فريق LangChain بعرض الأرقام النهائية للاختبار، بل يصف كذلك كيفية بناء مجموعة البيانات والمعايير التي اعتُمدت في تحديد الإجابات الصحيحة. فمن دون منهجية شفافة، تقول أرقام المقارنة بين النماذج القليل للمطورين الذين يختارون نموذجاً لحالة الإنتاج الخاصة بهم.

وتتأثر مهام استخراج البيانات من الدردشات بالأسلوب المحكي تأثراً خاصاً. فالمستخدمون الحقيقيون يصوغون طلباتهم بطريقة تختلف عن الوثائق الرسمية التي كثيراً ما تُختبر عليها النماذج. لذلك تعطي الاختبارات المرجعية المبنية على سجلات محادثات حقيقية صورة أصدق من مجموعات الاختبار الاصطناعية المجمَّعة من أمثلة منسّقة بشكل مثالي.

لماذا تهمّ منهجية إنشاء مجموعة البيانات؟

يواجه مطورو أطر العمل مثل LangChain باستمرار أسئلة من المجتمع حول النموذج الأنسب لسيناريو استخراج بيانات محدد، سواء من رسائل البريد أو تذاكر الدعم أو التفريغات النصية للمكالمات الصوتية. وغالباً ما يعتمد الجواب على مدى كفاءة النموذج مع نوع النص المحدد وبنية الحقول المطلوبة في المشروع، أكثر مما يعتمد على سمعته العامة.

لذلك تولي مادة Extraction Benchmarking اهتماماً خاصاً بكيفية إنشاء مجموعة البيانات التقييمية: أنواع الدردشات التي ضُمّت إليها، وطريقة تحديد القيم المرجعية، والحالات الحدّية التي أُدرجت عمداً في أمثلة الاختبار، مثل البيانات المفقودة والإشارات المتناقضة والصياغات الملتبسة. والغاية أن يعكس الاختبار التعقيدات الواقعية لا الحالات البسيطة فقط.

لماذا نحتاج إلى منهجيات مفتوحة كهذه؟

لا يقتصر نشر المنهجية الكاملة لبناء مجموعة البيانات، إلى جانب الترتيب النهائي للنماذج، على الفائدة المباشرة. فهو يعالج مشكلة أخرى في القطاع: يستطيع المطورون الذين يبنون خطوط معالجة خاصة بهم لاستخراج البيانات إعادة استخدام نهج الترميز والحالات الحدّية في تقييم سيناريوهاتهم، بدل أن يضطر كل فريق إلى ابتكار معايير جودة الاستخراج من الصفر.

ماذا يعني ذلك؟

بالنسبة إلى الفرق التي تختار نموذجاً لمهام استخراج البيانات، من أنظمة CRM إلى أتمتة الدعم، تفيد هذه المقارنات المستقلة بين GPT-4 وClaude ونماذج LLM المفتوحة على بيانات واقعية أكثر من الاختبارات التسويقية التي تصدر عن مطوري النماذج أنفسهم. فهي تُظهر سلوك النماذج مع النصوص المعتادة، لا مع نصوص مصقولة بصورة مثالية.