LlamaIndex ParseBench: كيفية اختبار تحليل المستندات عبر Python و Hugging Face

LlamaIndex ParseBench هي منصة جاهزة لاختبار مدى كفاءة النماذج وأنظمة التعرف البصري على الأحرف في تحليل مستندات PDF. يوضح دليل عملي جديد كيفية بناء خط أنابيب أساسي في Python: تحميل مجموعة بيانات من Hugging Face وتوحيد بنيتها ومقارنة جودة استخراج النص.

كيف يعمل ParseBench

يبدأ الدليل بتنزيل مباشر لمجموعة البيانات llamaindex/ParseBench من Hugging Face. يقوم الكود فوراً بإعداد بيئة Python وربط مكتبات datasets و pandas و matplotlib و PyMuPDF و RapidFuzz، ثم يستعرض محتوى المستودع مع ملفات JSONL و PDF. على Hugging Face، تبدو هذه المجموعة بالفعل كبيرة: حوالي 169 ألف صف موزعة على عدة أنواع من المهام. هذا مهم لأن ParseBench تخزن ليس فقط النصوص، بل سيناريوهات مختلفة حيث تحتاج إلى مراعاة الجداول والمخططات وموضع العناصر على الصفحة.

• text_content — الصفيف الرئيسي للأمثلة
• text_formatting — مهام البنية والتنسيق
• table — استخراج البيانات الجدولية
• chart — التعرف على القيم في المخططات البيانية
• layout — العمل مع الترتيب المكاني للكتل

بعد ذلك، يتم تسطيح جميع البنى المتداخلة في جدول واحد. قد تبدو هذه الخطوة كتفصيل تقني، لكنها بالضبط ما يسمح لك برؤية تغطية الأعمدة والعثور بسرعة على الحقول التي تحتوي على مسارات PDF والنص المرجعي وقواعد التحقق وإحداثيات التخطيط. بشكل أساسي، يتحول ParseBench من مجموعة ملفات إلى مصفوفة تحليلية فعلية حيث يمكنك تشغيل خطوط أساس وموازنة محللات مختلفة واختيار أي أمثلة تناسب اختبار التعرف البصري والتي تناسب النماذج التي تحتاج إلى فهم بصري للصفحة. تبدو المجموعة نفسها بالفعل كمقياس أداء كامل، وليست مجموعة وثائق عشوائية.

التقييم الأساسي للجودة

الخطوة التالية هي تجميع أساس خفيف بدون سحر ثقيل. في المثال، بالنسبة لكل سجل يحاولون العثور على ملف PDF المرتبط وتنزيله من Hugging Face واستخراج النص من الصفحات الأولى باستخدام PyMuPDF. ثم يبحث الكود عن حقل المرجع المناسب—مثل expected أو target أو reference أو markdown أو answer—ويقارن النتيجة مع النص المستخرج.

بالنسبة للمقياس، يستخدمون RapidFuzz token set similarity: إنه ليس مثالياً من الناحية الأكاديمية، لكنه يكفي لرؤية سريعة حيث يعمل محلل بسيط بشكل مقبول وأين يفشل. بعيداً عن درجة similarity_score البسيطة، يحفظ خط الأنابيب حالات الخدمة والخصائص الأساسية لكل مثال. إذا لم يتم العثور على PDF، يتم وضع علامة على السجل بشكل منفصل.

إذا لم يكن لديك صف مرجع، فإنه لا يدخل التقييم الكامل. إذا نجح كل شيء، يمكنك بناء توزيع للدرجات ورؤية النتيجة الوسيطة عبر أبعاد مختلفة من المجموعة. يوضح هذا الأسلوب على الفور نقاط ضعف الأساس: يمكن استخراج النص بسهولة نسبياً، لكن بنية الجداول وقيم المخططات والتخطيط الدقيق غالباً ما يتطلبان نماذج التعرف البصري أو أنماط اللغة الرؤية الأقوى.

التحضير للنماذج

لا ينتهي الدليل عند أساس واحد. بعد التقييم الأولي، يتم تجميع الفصول من نفس البيانات للأنظمة الخارجية للتحليل—من محركات التعرف البصري إلى نماذج VLM. تستبدل القالب بعد بعد المجموعة وتلميح من حقل rule وعرض معاينة للإجابة المرجعية، ثم تطلب النتيجة بعدة أشكال: تمثيل markdown للمستند وجداول بصيغة JSON وقيم المخططات بصيغة JSON وملاحظات حول التخطيط حيث تكون البنية البصرية مهمة.

هذا جسر جيد بين استخراج النص الكلاسيكي والمهام حيث يجب أن تصبح الوثيقة مناسبة للسيناريوهات الوكيل. في النهاية، تقارن المادة أيضاً أفضل وأسوأ الحالات حسب التشابه وتحفظ ملف CSV مسطح مع الأمثلة وتترك بشكل أساسي نقطة بداية جاهزة للتجارب. بمعنى آخر، يعمل ParseBench هنا ليس فقط كمجموعة بيانات للعرض، بل كبيئة عمل كاملة لموازنة المحللات وضبط المقاييس وتحضير المدخلات للجيل القادم من الذكاء الاصطناعي للوثائق.

ماذا يعني هذا

يجعل LlamaIndex ParseBench تقييم تحليل الوثائق قابلاً للتطبيق بشكل كبير. بدلاً من العروض التوضيحية المجردة، يمكن للفريق التحقق بسرعة من كيفية تعامل مكدس التطبيق مع النص والجداول والمخططات والتخطيط، ثم بدون تجميع يدوي طويل الأمد الانتقال إلى قياس مقارن قابل للتكرار لـ RAG والأنظمة الوكيل وسيناريوهات معالجة الوثائق الأخرى.