مطوّر يرفع تطابق تعبئة الاستبيانات الهندسية مع الخبير إلى 73–86%

على المهندس أن يملأ استبيانًا لمورّد جهاز صناعي: يحدد الضغط والمواد والتنفيذ المناخي والحماية من الانفجار. والإجابات موزعة على مئات الصفحات من المواصفات الفنية. ويبدو أن هذه مهمة جاهزة للنموذج اللغوي الكبير: العثور على المقطع المناسب ونقل القيمة إلى الجدول. وفي المشروع الموصوف على موقع Habr، كانت النسخة الأولى تملأ بشكل صحيح نحو ثلث الخانات.

وخلال شهرين رفع المؤلف النظام إلى 73–86% من التطابق مع المهندس، من بين الصفوف التي أجاب عنها، في ثلاثة مشاريع. لكن تحليل الأخطاء هنا أنفع من الرقم النهائي. فقد كان النظام يخلط بين المعلمات المتجاورة، ويحاول تخمين القرارات الداخلية للقسم، ويحتسب أسئلةً صفوفًا لا تتطلب أي إجابة من المهندس.

الاقتباس حقيقي والإجابة خاطئة

عملت النسخة الأولى بالطريقة المعتادة: لكل خانة كان البحث يجلب اثني عشر مقطعًا من المواصفات، ثم يُخرج النموذج قيمة واقتباسًا. وكان الكود يتحقق من وجود الاقتباس فعلًا. وتبيّن أن هذا لا يكفي.

مثال بسيط: يسجّل النظام «الضمان: 30 سنة». الرقم موجود فعلًا في الوثيقة، لكنه يخص عمر خدمة الوحدة. أما الضمان الحقيقي، وهو 36 شهرًا، فيقع بجواره. يجتاز التحقق من المصدر، ويحصل المهندس على خطأ.

أسند المؤلف التعبئة إلى القواعد ودليل مرجعي، وترك للنموذج استخراج الحقائق. وفي المواضع التي عملت فيها القواعد كانت 86–92% من الإجابات صحيحة. أما في جميع خانات المشروعين الآخرين فبلغت النتيجة 58%. فالقواعد أيضًا كانت تنقل خصوصيات مشروع إلى آخر.

ولم يضمن تحسين البحث وحده تحسّن النتائج. فبعد إعادة تدريب نموذج صغير صار البند المطلوب يحتل المرتبة الأولى في 63% من الصفوف بدلًا من 52%، لكن عدد القيم الصحيحة لم يزد. فقد ظلت المرحلة التالية تأخذ أول مقطع يمكن استخراج شيء منه. وأفادت شروط إضافية: التحقق من الكلمة الدالة للمعلمة ومن وحدة قياس المدة.

وبالنسبة إلى فريق يبني بحثًا في وثائق الشركات، فهذا درس مهم: ينبغي قياس السلسلة كاملة حتى الإجابة النهائية. فالنتائج الأفضل للبحث لا فائدة منها إذا أساءت الخطوة التالية استخدامها.

جزء من المعرفة يحتفظ به القسم

بعد فحص المهندس ظهرت مشكلة أعمق. ففي الصفوف غير النمطية في المشاريع الأربعة الأولى، لم يجد المؤلف في الوثائق إجابات لما نسبته 65–83% من الحالات. وفي فحص يدوي لعشرين صفًا من هذا النوع تبيّن أن نحو نصفها قرارات اتخذها القسم: فقد انتقلت لسنوات من ورقة استبيان إلى أخرى.

لم يكن بوسع النموذج استخراج هذه المعلومات من المواصفات الفنية، فهي غير موجودة فيها. لذلك أُضيفت إلى النظام الأوراق السابقة ومعايير القسم. وصار تطابق الإجابات في مشروعين أساسًا لاقتراح نظير بثقة أكبر مما يتيحه مثال وحيد. ومع ذلك تتطلب معلمات البيئة المحددة حذرًا: فقد لا تناسب قيمةٌ من مشروع مجاور.

وفي واجهة العمل تحتوي كل إجابة على رابط إلى بند الوثيقة والاقتباس والصفحة مع تمييز بصري. وإذا لم يوجد أساس، يبقى الصف فارغًا ويُدرج ضمن أسئلة العميل. أما الاستنتاجات المتعلقة بالمعايير فيقترحها النظام بشكل منفصل، مع تفسير، ليراجعها المهندس.

مثل هذا المنتج يساعد على جمع المعلومات والتحقق منها. وتعتمد قيمته العملية، ضمن أمور أخرى، على مدى سهولة تأكيد المختص للقيمة وتصحيحها وحفظ القرار للمشروع التالي.

النسب الجميلة تحتاج إلى تدقيق

اكتشف المؤلف عدة أخطاء في تقييمه الخاص. فقد كانت مربعات الاختيار في النماذج تُقرأ بشكل خاطئ. وكانت إجابات المشروع قيد الفحص تصل إلى القاعدة عبر معايير قديمة: فبدت النتيجة 71% بدلًا من 61% الحقيقية. وكانت المقارنة التقريبية تعدّ IP54 مطابقًا لـ IP65، مع أنهما تصنيفان مختلفان للحماية.

وأخيرًا تبيّن أن أكثر من نصف صفوف النموذج متطلبات وقوائم وتواقيع. وبعد استبعادها ارتفعت نسبة التعبئة من 45 إلى 81%. ولم تُضف أي إجابة صحيحة: فقد صُحّح المقام.

وللنتيجة النهائية 73–86% قيودها أيضًا. فمع أن النظام لم يطّلع على إجابات مشاريع التحقق الثلاثة، فإن المؤلف ضبط القواعد وفق أخطائها. وفي مشروعين نُقلت الجداول من المسوحات الضوئية إلى Excel يدويًا. وهذه نتيجة مخبرية؛ أما الاختبار على مشروع جديد فلا يزال أمامنا.

الخلاصة العملية للمطوّر: قبل تغيير النموذج اللغوي الكبير ينبغي فحص بنية النموذج ومصادر المعرفة والبحث وطريقة التقييم. أما بالنسبة إلى مدير المنتج فالسؤال التالي هو: كم من الوقت يقضيه المهندس في التحقق والتصحيح. وهذا بالتحديد ما سيُظهر مدى مساعدة النظام في العمل.