إنغوستراخ تعلّم نموذج LLM متعدد الوسائط الشك: اكتشاف أخطاء المستندات عبر logprobs

نشر فريق التقنيات المتقدمة في مركز تطوير الذكاء الاصطناعي التابع لشركة «إنغوستراخ» (СПАО «Ингосстрах») على موقع Habr تحليلًا لكيفية اكتشاف الأخطاء في إجابات نموذج LLM متعدد الوسائط الذي يستخرج البيانات المنظَّمة من المستندات الواردة مباشرة، دون المرور بـ OCR. والأداة التي اختارها الفريق لا تتطلب نموذجًا منفصلًا للتقييم: إنها logprobs، أي لوغاريتمات احتمالات الرموز التي يُخرجها النموذج أصلًا أثناء التوليد. أما السؤال نفسه فعملي: أي المستندات من بين آلاف المستندات المعالَجة يجب إرسالها إلى موظف، وأيها يمكن تمريره تلقائيًا إلى المرحلة التالية.

JSON صالح دون ضمانات

تنتمي المهمة إلى فئة المعالجة الذكية للمستندات (Intelligent Document Processing، IDP). المُدخَل صورة ممسوحة أو فوتوغرافية لمستند، والمُخرَج JSON بحقول مثل الاسم الكامل ورقم جواز السفر والتواريخ والمبالغ. ويقرأ النموذج متعدد الوسائط الصورة بنفسه، دون مرحلة وسيطة للتعرف على النص.

لهذا النهج خاصية مزعجة. فالخطأ في رقم واحد من جواز السفر أو في حرف من اللقب لا يخلّ بصيغة الإجابة. تبقى البنية سليمة ويقبلها المحلِّل (parser)، بينما تنتقل البيانات الخاطئة إلى النظام التالي على أنها موثوقة. وقد لاحظ العملاء ذلك سريعًا وطلبوا confidence score، أي تقديرًا يتيح استبعاد النتائج المشبوهة.

في خطوط معالجة OCR التقليدية، مثل CRNN وSurya وEasyOCR وTesseract، يتوفر هذا التقدير عادةً على مستوى الحرف أو الكلمة أو السطر. ويشير المؤلفون إلى أنه لا يضمن الصحة وقد يحتاج إلى معايرة، لكنه يصلح إشارةً أولية للانتقاء. أما نظام LLM في «إنغوستراخ» فلم تكن لديه مثل هذه الإشارة.

من أين تأتي الإشارة

يختار النموذج في كل خطوة الرمز التالي، آخذًا في الحسبان الصورة والتعليمات والنص الذي ولّده بالفعل. ويمكن الحصول على logprob للرمز المختار. وكلما انخفضت القيمة، كان الاستمرار أقل توقعًا بالنسبة إلى النموذج نفسه.

ومن التحفظات المهمة في المقال أن logprobs لا تجيب عن سؤال «هل قُرئ الحقل بشكل صحيح؟». فهي تدل فقط على مدى ثقة النموذج في المسار الذي سلكه. فقد يخطئ النموذج بثقة، وقد تحصل الإجابة الصحيحة على احتمال منخفض بسبب صيغة نادرة أو رداءة المسح. لذلك لا يستخدم الفريق الاحتمالات الخام مباشرة، بل يبني منها تقديرًا للمخاطر ويقارنه بالأخطاء الفعلية في بيانات الشركة.

ما هو معروف من المقدمة المنشورة:

• المهمة: استخراج بيانات منظَّمة من المستندات الواردة (IDP)؛
• البنية: نموذج LLM متعدد الوسائط دون مرحلة OCR منفصلة؛
• طلب الأعمال: confidence score لتوجيه المستندات إلى المراجعة اليدوية؛
• مصدر الإشارة: token logprobs للرموز المختارة؛
• التحقق: على بيانات حقيقية، وتتوفر مقاييس الجودة المحددة في المقال الكامل.

لا توجد نتائج رقمية في المقدمة، ولذلك من المبكر الحكم على مدى جودة فصل تقدير المخاطر بين الإجابات الخاطئة والصحيحة.

كيف يمكن تطبيق هذا النهج

ما يلي استنتاجاتي من صياغة المسألة، وليس عرضًا لنتائج المؤلفين.

أولًا: ينبغي تقييم الحقول، لا المستند كله. فمتوسط الثقة في الإجابة يُذيب بسهولة رمزًا مشكوكًا فيه واحدًا في رقم جواز السفر، ولذلك من المنطقي النظر إلى القيمة الدنيا أو إلى صيغة تجميع أخرى على مستوى رموز الحقل المعيَّن.

ثانيًا: يجب ضبط عتبة المراجعة بحسب كلفة الخطأ. وينبغي أن تكون أشد صرامة للاسم الكامل والوثائق المثبتة للهوية منها للحقول الاختيارية.

ثالثًا: لا فائدة من الإشارة دون عيّنة موسومة. وللتحقق مما إذا كانت الاحتمالات المنخفضة ترتبط بالأخطاء الفعلية، نحتاج إلى إجابات مرجعية وإلى قياس نسبة الأخطاء المكتشفة مقابل عبء العمل على المشغّلين. وستكون المعايرة التي يذكرها المؤلفون في سياق OCR لازمة هنا أيضًا.

رابعًا: ينبغي التحقق من هذا المنطق عند تغيير النموذج أو إصدار الـ prompt. فتوزيعات الاحتمالات تختلف من نموذج إلى آخر، وقد تعمل العتبة المضبوطة لنموذج ما بشكل مختلف على نموذج آخر.

أما الخلاصة الرئيسية للفرق التي تبني خطوط معالجة مستندات قائمة على LLM فبسيطة: يمكن الحصول على confidence score بكلفة شبه معدومة، لكنه لا يتحول من مجرد رقم إلى أداة توجيه عملية إلا بعد التحقق منه على بياناتك الخاصة.