نماذج LLM تكتب خطط أعمال الطرق لصالح WisDOT: نموذج 14B بالكاد يتفوق على 7B

تشترط إدارة النقل في ولاية ويسكونسن (WisDOT) إعداد خطة إدارة حركة المرور، Transportation Management Plan أو TMP، لكل منطقة أعمال طرق. وهي وثيقة تحدد كيفية تجنّب تعريض العمال والسائقين للخطر دون إغلاق الطريق بالكامل. حاول مؤلفو ورقة بحثية منشورة مسبقًا على arXiv (cs.CL، 2610.10650) أتمتة إعدادها. فقد اعتمدوا عدة نماذج لغوية مفتوحة بحجمين، 7B/8B و14B من المعاملات، وضبطوها على أرشيف وثائق نظام WisTMP، ثم شغّلوها محليًا. ورفع الضبط الدقيق الجودة بوضوح وفق مقاييس توليد النص القياسية. لكن الزيادة الناتجة عن توسيع النموذج من 7B/8B إلى 14B جاءت صغيرة، وظلّت التسبيبات الخاصة بكل مشروع وحساب التكلفة من نقاط الضعف.

كيف بُني النظام

تُعدّ خطط TMP يدويًا، وتتوقف جودة الوثيقة على خبرة المهندس المعني. وهو عمل مُرهق: ففي كل مشروع يجب اختيار استراتيجيات إدارة الحركة ووصفها وشرح سبب ملاءمتها للموقع تحديدًا.

لم تتوفر لدى المؤلفين مجموعة بيانات تدريب جاهزة، فبنوها بأنفسهم. كانت وثائق WisTMP التاريخية محفوظة بصيغة PDF، فحوّلوها إلى أزواج «سؤال-جواب» منظمة بصيغة JSON، حيث يقابل السؤال قسمًا من الخطة، ويتضمن الجواب نصًا كتبه مختصون. وهكذا نشأت مجموعة بيانات متخصصة للضبط الدقيق الخاضع للإشراف (supervised fine-tuning).

ويتعلق قرار منفصل بالأمن. فلا تُستدعى النماذج عبر واجهات API خارجية، بل تُشغَّل محليًا. وبالنسبة لجهة حكومية، يُعدّ هذا شرطًا عمليًا: فبيانات المشاريع والبنية التحتية لا تغادر الجهة.

ماذا أظهرت التجارب

قارن المؤلفون نماذج بأحجام مختلفة قبل الضبط الدقيق وبعده، ونظروا في النتائج على ثلاثة مستويات: مقاييس النص العامة، وأقسام الخطة كلًّا على حدة، واستراتيجيات إدارة الحركة المحددة.

أبرز الملاحظات الواردة في الورقة:

• الضبط الدقيق يحسّن بشكل ملحوظ المؤشرات وفق مقاييس توليد النص القياسية؛
• النتيجة العامة للنماذج تُقيَّم بأنها قوية؛
• نماذج LLM تميل إلى التوليد المفرط: فهي تقترح استراتيجيات أكثر مما يلزم؛
• تجد النماذج صعوبة في كتابة تسبيبات مرتبطة بمشروع محدد؛
• تقديرات التكلفة تأتي غير دقيقة؛
• التوسع من 7B/8B إلى 14B يمنح مكسبًا محدودًا.

والنقطة الأخيرة هي الأكثر إثارة للاهتمام للممارسين. فإذا كان 14B بالكاد أفضل من النماذج الأصغر، فمن الأجدى لمهمة ضيقة كهذه اختيار نموذج مدمج. فهو أرخص في الاستدلال (inference) وأسهل نشرًا على عتاد محلي. وتتوقف الجودة هنا على البيانات ومدى تعبيرها عن خصوصية المشروع، لا على حجم الشبكة.

والشكاوى من التقديرات المالية والتسبيبات مفهومة أيضًا. فنص الاستراتيجية يمكن تركيبه وفق قالب من الأرشيف، بينما تعتمد التكلفة على أحجام الأعمال والمنطقة والأسعار الراهنة. والنموذج المدرَّب على وثائق سابقة لا يرى هذه المعلومات. ويتطلب الربط بمشروع محدد بيانات إدخال قد لا تكون موجودة أصلًا في نص السؤال.

كيف يمكن توظيف هذه النتائج

يصوغ المؤلفون استنتاجهم بحذر: فثمة إمكانات لرفع كفاءة إعداد خطط TMP، لكن المشكلات لا تزال قائمة. وهذا تقييم صادق. والسيناريو المعقول اليوم هو أن يُعدّ النموذج مسودة ويراجعها المهندس.

وتخرج الجهات الحكومية والمقاولون من هذا العمل بعدة دروس عملية:

• البدء بنموذج مفتوح صغير ونشر محلي بدل السعي وراء الحجم؛
• الاستثمار في الأرشيف: فأزواج «سؤال-جواب» نظيفة ومنظمة مستخرجة من ملفات PDF قديمة تعطي نتائج أفضل من مليارات إضافية من المعاملات؛
• إبقاء حساب التكلفة بيد الإنسان أو إسناده إلى وحدة حتمية (deterministic) منفصلة؛
• مراجعة الاستراتيجيات الزائدة يدويًا: فالنموذج يبالغ في الاحتياط ويضخّم الخطة؛
• تضمين معاملات المشروع في الطلب، وإلا جاءت التسبيبات عامة.

ويَعِد المؤلفون بنشر الشيفرة وفيديو العرض التجريبي على صفحة مشروع TMP-LLM. وحين يتاحان، سيمكن اختبار مدى انتقال هذا النهج إلى وثائق ولايات أخرى. وحتى ذلك الحين، تبقى الدراسة حالة دقيقة توضح أين توفّر نماذج LLM الوقت بالفعل في البيروقراطية الهندسية، وأين لا غنى عن المختص.