بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

RAG على المواصفات المصنعية: دقة 84%، لكن 161 دعامة بدلاً من اثنتين

حمّل فريق PSM إلى نظام RAG أربعاً وأربعين وثيقة عن محطة الكهرباء العاملة بمحركات الغاز الترددية AGBa1000، واختبره على 188 سؤالاً: ارتفعت الدقة من 77.7% إلى 84%. لكن المتوسط يخفي الأهم. فقد دمج المحلّل (parser) أعمدة الصورة الممسوحة ضوئياً، وبدلاً من دعامتين للمولّد رأى المساعد 161 دعامة. وارتكب النموذج خطأً آخر حين اعتبر خزان وقود غير موجود خزاناً حقيقياً.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
RAG على المواصفات المصنعية: دقة 84%، لكن 161 دعامة بدلاً من اثنتين
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1فهرسوا الجداول الممسوحة ضوئياً صفاً بصف مع ترويسة الأعمدة
حقيقة رئيسية #2اربطوا المحطة والمحرك وإصدارات الوثائق ربطاً صريحاً
تحققوا من الإجابات المرجعيةفي 19 حالة لم يخطئ الذكاء الاصطناعي بل الاختبار نفسه

قصة معتادة في أنظمة RAG المؤسسية: العرض التجريبي مبهر، عشر إجابات جميلة متتالية، ويبدو أن الإطلاق ممكن. قرر فريق PSM، الذي يطوّر مساعداً لمهندسي توثيق المعدات الكهربائية، ألا يثق بالانطباع وأن يحصي الأخطاء. واتضح أن «وجد الوثيقة المطلوبة» و«أجاب بشكل صحيح» أمران مختلفان تماماً.

ما الذي اختُبر وكيف

اختار الفريق للتجربة محطة كهرباء تعمل بمحركات الغاز الترددية AGBa1000 بقدرة 1 ميغاواط. ضمّت قاعدة المعرفة 44 وثيقة: 29 ملف PDF و12 ملف Word و3 ملفات Excel. نصف الوثائق بالروسية ونصفها بالإنجليزية، لكن 94% من شظايا الفهرس بالإنجليزية من حيث الحجم، لأن الأدلة الرئيسية كتبها مصنّعو المكوّنات. وبلغ المجموع 27 007 شظايا بحث.

تألفت مجموعة الاختبار من 188 سؤالاً مع إجابات مرجعية: مواصفات المعدات وأنماط التشغيل والتجهيزات ولوائح الصيانة. التحقق آلي: مطابقة الأرقام مع المرجع وتقييم المعنى بواسطة نموذج مستقل. هذا اختبار تقارب وليس قبولاً بخبرة مختصين، ويقول الفريق ذلك صراحة.

رفع تعديلان الدقة من 77.7% إلى 84%. فقد بدأت فهرسة صفوف الجداول كوقائع مستقلة، وصارت النماذج تتلقى 10 شظايا من السياق بدلاً من 5. والآن تظهر الوثيقة المطلوبة ضمن أول عشر نتائج في 96.3% من الحالات (كانت 94.1%)، وفي المرتبة الأولى في 71.3% (كانت 62.8%). وانخفضت حالات الرفض الخاطئ «لا توجد بيانات» من 11.7% إلى 6.9%.

لكن داخل المتوسط تفصيلاً: صار النظام يجيب بشكل صحيح عن 26 سؤالاً، وأسوأ عن 14 سؤالاً. وإضافة إلى ذلك، حين قارن مختصو المصنع جزءاً من الإجابات المرجعية بالمصادر الأصلية، تبيّن أن المرجع نفسه كان خاطئاً في 19 حالة. وقبل محاسبة النموذج، تحققوا من بيانات الاختبار.

ثلاثة أخطاء لا تظهر في النسبة المئوية

161 دعامة. كان في القاعدة خطاب تقني من مصنّع المولّد مع جدول: لقدرة 800–1120 كيلوواط والغاز ونمط COP يلزم دعامتان. أجاب المساعد في البداية بأنه لا توجد بيانات. وفي تشغيل آخر دمج محلّل الصورة الممسوحة أعمدة متجاورة: تحوّل نطاق القدرة إلى 16 000–16 100 كيلوواط، وعدد الدعامات إلى 161. نموذج اللغة الكبير لم يهلوس هنا، بل أعاد بأمانة ما قدّمه له الفهرس. الخطأ وُلد في مرحلة التحليل.

وثيقتان بلا رابط. عند السؤال عن درجات الحمل، يقول دليل التشغيل «بالتدريج» فقط. أما الأرقام المحددة (ألا تزيد على 10% حتى نصف القدرة وألا تزيد على 5% فوق ذلك) فكانت في خطاب مصنّع المحرك، الذي لم تُذكر فيه محطة AGBa1000. ولم يربط المساعد بينهما. وقد ناقش الفريق أصلاً ما إذا كان يجوز نقل معاملات المحرك «العاري» إلى الوحدة المتكاملة: ففي الواقع تعتمد سرعة قبول الحمل على جودة الغاز ودرجة الحرارة ونمط التشغيل. والإجابة الصحيحة يجب أن تورد توصيات مصنّع المحرك مع الإحالة، وأن تحدد صراحةً حدود قابلية التطبيق.

الخزان غير الموجود. طُلب من المساعد حساب مدة الاستقلالية للمحطة على خزان وقود ممتلئ. وجد المساعد استهلاك الغاز (161 و229 و294 م³/ساعة)، وكتب المعادلة، وطلب حجم الخزان. لكن المحطة تتغذى من خط الغاز الرئيسي ولا خزان لها. قبل النظام المقدمة الخاطئة وبدأ بالحساب. وبالنسبة إلى مساعد سيستخدمه المديرون وفنيو الخدمة، هذا عيب خطير.

حين تتعارض الوثائق

من النتائج اللافتة أن الوثائق الرسمية تتعارض فيما بينها. ففي جواز المحطة قدرة التشغيل المستمر 1150 كيلوواط، وفي وثيقة مصنّع المحرك 1280 كيلوواط. ويقضي الدليل بتغيير شمعات الإشعال كل 1500 ساعة تشغيل، بينما تقول تعليمات صيانة المحرك كل 5000.

لا يجوز اختيار الملف الأحدث، ولا أخذ القيمة الأكثر تكراراً، ولا حساب المتوسط. الخيار المعقول الوحيد هو عرض التعارض مع ذكر الأقسام والصفحات وطلب تأكيد من المهندس. وهكذا يتحول RAG إلى أداة تدقيق أولي للوثائق، وإن كان على البشر في النهاية إزالة التناقضات.

ما الذي ينبغي أخذه من هذا

أولاً: لا تُسلّموا الجداول الممسوحة ضوئياً إلى محلّل نصوص عام. فهرسوها صفاً بصف مع الإبقاء على ترويسات الأعمدة، أو تحققوا منها بنماذج متخصصة. رفعت الفهرسة صفاً بصف حصة الإجابات ذات الأرقام الصحيحة من 70.8% إلى 78.3%، لكن الصور الممسوحة المعقدة التي تحوي مخططات وملاحظات بخط اليد ما زالت تخفق.

ثانياً: مجلد الملفات ليس قاعدة معرفة. نحتاج إلى روابط صريحة بين المنتج والمكوّنات والتنفيذات وإصدارات الوثائق، وإلا ظلّت الواقعة المكتشفة بلا فائدة.

ثالثاً: علّموا المساعد ملاحظة المقدمات الخاطئة وتعارض المصادر. فأحياناً تكون أفضل إجابة هي شرح سبب عدم جواز الحساب بهذه الطريقة.

والقيد الأهم: نسبة 84% جاءت من تحقق آلي على محطة واحدة، وتبيّن أن جزءاً من الإجابات المرجعية خاطئ. هذا مؤشر عملي جيد، لكنه ليس دليلاً على الجاهزية للإنتاج. وفي التوثيق الهندسي لا تقيسوا متوسط الدقة، بل أنواع الأخطاء: فهي التي تُظهر أين المشكلة — في التحليل أم في الروابط بين الوثائق أم في منطق الإجابة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما الذي اختُبر وكيف؟

اختار الفريق للتجربة محطة كهرباء تعمل بمحركات الغاز الترددية AGBa1000 بقدرة 1 ميغاواط. ضمّت قاعدة المعرفة 44 وثيقة: 29 ملف PDF و12 ملف Word و3 ملفات Excel. نصف الوثائق بالروسية ونصفها بالإنجليزية، لكن 94% من شظايا الفهرس بالإنجليزية من حيث الحجم، لأن الأدلة الرئيسية كتبها مصنّعو المكوّنات. وبلغ المجموع 27 007 شظايا بحث. تألفت مجموعة الاختبار من 188 سؤالاً مع إجابات مرجعية: مواصفات المعدات وأنماط التشغيل والتجهيزات ولوائح الصيانة. التحقق آلي: مطابقة الأرقام مع المرجع وتقييم المعنى بواسطة نموذج مستقل.

ما أبرز التفاصيل حول ثلاثة أخطاء لا تظهر في النسبة المئوية؟

161 دعامة. كان في القاعدة خطاب تقني من مصنّع المولّد مع جدول: لقدرة 800–1120 كيلوواط والغاز ونمط COP يلزم دعامتان. أجاب المساعد في البداية بأنه لا توجد بيانات. وفي تشغيل آخر دمج محلّل الصورة الممسوحة أعمدة متجاورة: تحوّل نطاق القدرة إلى 16 000–16 100 كيلوواط، وعدد الدعامات إلى 161. نموذج اللغة الكبير لم يهلوس هنا، بل أعاد بأمانة ما قدّمه له الفهرس. الخطأ وُلد في مرحلة التحليل. وثيقتان بلا رابط. عند السؤال عن درجات الحمل، يقول دليل التشغيل «بالتدريج» فقط.

ما أبرز التفاصيل حول حين تتعارض الوثائق؟

من النتائج اللافتة أن الوثائق الرسمية تتعارض فيما بينها. ففي جواز المحطة قدرة التشغيل المستمر 1150 كيلوواط، وفي وثيقة مصنّع المحرك 1280 كيلوواط. ويقضي الدليل بتغيير شمعات الإشعال كل 1500 ساعة تشغيل، بينما تقول تعليمات صيانة المحرك كل 5000. لا يجوز اختيار الملف الأحدث، ولا أخذ القيمة الأكثر تكراراً، ولا حساب المتوسط. الخيار المعقول الوحيد هو عرض التعارض مع ذكر الأقسام والصفحات وطلب تأكيد من المهندس. وهكذا يتحول RAG إلى أداة تدقيق أولي للوثائق، وإن كان على البشر في النهاية إزالة التناقضات.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…