دراسة من Microsoft تكشف مخاطر تفويض نماذج LLM بالعمل على المستندات

أصدرت Microsoft Research توضيحات مفصلة حول دراسة «LLMs Corrupt Your Documents When You Delegate»، التي يتداولها المجتمع المهني بنشاط في الآونة الأخيرة. ويريد الفريق أن يبيّن ما تثبته دراسته فعلًا، وأين يكثر التفسير الخاطئ أو المبالغ في الحسم.

ما الذي بحثته الدراسة

تتناول الدراسة موثوقية النماذج اللغوية في السيناريوهات التي تفوّضها فيها معالجة المستندات ضمن سير عمل أطول. ومن الأمثلة على ذلك أتمتة معالجة العقود الواردة، أو إعداد التقارير بناءً على البيانات المصدرية، أو توجيه المستندات.

والملاحظة الأساسية أن النموذج قد يشوّه المعلومات دون أن يلاحظ أحد. ولا يحدث ذلك لأن LLM يخطئ فحسب، بل لأنه كثيرًا ما «يحسّن» النص من تلقاء نفسه، فيصحّح القواعد النحوية ويعيد صياغة العبارات، حتى عندما لا يُطلب منه ذلك صراحةً. وفي كل خطوة من السلسلة الطويلة قد تتغير المعلومات قليلًا، وفي النهاية قد تختلف النتيجة اختلافًا ملحوظًا عن البيانات الأصلية.

وطوّرت الدراسة أساليب لتقييم هذه الموثوقية، وهي أدوات تتيح قياس مدى قدرة النظام على الحفاظ على الدقة عبر سلسلة من العمليات. وتكتسب هذه الأساليب أهمية حاسمة، لأن الشركات من دونها لا تعرف ببساطة حجم المخاطرة عند استخدام LLM في العمليات الحرجة.

ما الذي يُساء تفسيره غالبًا

تؤكد Microsoft عدة نقاط يحرّفها المنتقدون كثيرًا أثناء النقاش:

• الدراسة ليست حكمًا على جميع نماذج LLM. فهي لا تقول إن النماذج اللغوية غير موثوقة بوجه عام، بل تتحدث عن خطر محدد في سيناريوهات التفويض طويل الأمد المتعلقة بالمستندات.
• ولا تدّعي أن المشكلة «غير قابلة للإصلاح». فالدراسة تشير إلى المشكلة، لكنها لا تقول إنه يستحيل حلّها. وهناك مقاربات معمارية لتقليل المخاطر.
• الأهم هو منهجية التقييم. فهدف العمل تزويد الجهات بأدوات لقياس الموثوقية، لا مجرد اكتشاف خطأ في نموذج واحد.

ويفسّر بعض المنتقدين النتائج على أنها حظر كامل لاستخدام LLM في بيئات الإنتاج (production). وهذا تفسير مبالغ في الحسم ولا يتفق مع استنتاجات الدراسة نفسها.

ما الذي ينبغي على المطورين فعله

بالنسبة إلى من يدمجون LLM في سير العمل المتعلق بالمستندات، الخلاصة عملية: لا بد من آليات رقابة. ويمكن القيام بما يلي:

• التحقق دوريًا من النتائج الوسيطة، وعدم الاعتماد على تمريرة واحدة (pass) من النموذج
• إجراء مراجعة بشرية للخطوات الحرجة في العملية
• تسجيل جميع التغييرات التي أجراها النموذج لمعرفة ما الذي تغيّر
• مقارنة النتيجة النهائية بالبيانات الأصلية في نهاية السلسلة

وعلى الشركات التي تستخدم LLM بالفعل في معالجة العقود أو التقارير أو غيرها من المستندات الحرجة أن تقيّم ما إذا كانت لديها آليات كهذه. وإن لم تكن لديها، فهذه منطقة خطر.

ماذا يعني ذلك

دراسة Microsoft ليست إشارة إلى الذعر، بل دعوة علمية إلى المسؤولية الهندسية. فالنماذج اللغوية قادرة على العمل مع المستندات وعلى تولّي أجزاء من المعالجة بالتفويض، لكن ذلك يتطلب بنية تتضمن التحقق عند كل خطوة رئيسية.

وبالنسبة إلى القطاع، يعني ذلك أن موثوقية أنظمة AI طويلة الأمد ليست مسألة نظرية، بل مهمة هندسية لا يمكن تجاهلها.