AI4Fire: أداة SQL ترفع دقة نماذج LLM في قواعد بيانات الحرائق من 16% إلى 88%

ستة نماذج لغوية أساسية، وخمس مهام في إدارة حرائق الغابات، ووضعا تشغيل. هذا هو تصميم AI4Fire، وهو معيار تقييم جديد نُشر على arXiv، ويضيف التشغيل الموسّع فيه 29 نموذجاً أخرى. النتيجة الأبرز: ربط أداة SQL للقراءة فقط رفع دقة العمل مع قاعدة البيانات لدى كل نموذج من النماذج الأساسية الستة، من 16% كحد أقصى إلى 88% كحد أدنى. أما في توقّع الحاجة إلى العاملين فالصورة معاكسة: لم يتفوّق أي نموذج على تكرار رقم اليوم.

كيف صُمّمت المقارنة

ينطلق المؤلفون من أن المبالغة في تقدير الأداء في هذا المجال باهظة الثمن، لأن الأمر يتعلق بالممتلكات والأرواح. ولذلك تُشغَّل كل مهمة في صيغتين. في الوضع «المجرّد» (bare) يتلقى النموذج مدخلات المهمة فقط. وفي الوضع «المعزَّز بسياق» (grounded) يُضاف إليها عنصر واحد خاص بالمهمة. ففي كشف الدخان يكون هذا العنصر لقطة خالية من الدخان من الكاميرا نفسها. وفي العمل مع قاعدة البيانات يكون أداة SQL. وتجري جميع التشغيلات بأسلوب zero-shot، دون ضبط دقيق ودون أمثلة.

تتيح المقارنة الزوجية تقديراً نقياً لمساهمة كل عنصر مضاف. ويقول المؤلفون إنهم وجدوا في الأدبيات 138 دراسة تتناول مهام متصلة بالحرائق، ولا تجمع أيٌّ منها بين مجموعة النماذج هذه ونطاق المهام والتشغيلات الزوجية. وقد نُشرت الموجّهات (prompts) والإجابات والتقييمات والشيفرة وسجل مراجعة الأدبيات.

• النماذج الأساسية: 6، إضافة إلى 29 في التشغيل الموسّع
• مهام حرائق الغابات: 5
• وضع التشغيل: zero-shot، وbare وgrounded
• الدراسات في مراجعة الأدبيات: 138
• مهمة SQL: من ≤16% إلى ≥88% لدى كل نموذج أساسي

أين تنفع الإضافة وأين لا تنفع

الاستنتاج الأول للمؤلفين: يكون التعزيز بالسياق أكثر فائدة حين يحمل العنصر المضاف الإجابة نفسها. فالنموذج الذي يصل إلى القاعدة عبر استعلامات SQL للقراءة فقط يستخرج المطلوب من الجداول، بدل أن يستذكره أو يخمّنه. وتشير الفجوة بين 16% و88% إلى أن المهمة لا يمكن حلها عملياً دون الأداة.

أما الاستنتاج الثاني فيبعث على التعقّل. ففي توقّع عدد العاملين تبيّن أن القواعد البسيطة يصعب التفوق عليها: لم يتجاوز أي نموذج أساسي أداء تكرار قيمة اليوم. وقد نسخت نموذجان من النماذج مفتوحة الأوزان (open-weight) في الغالب وسيط أيام الحرائق الماضية المشابهة. وهذا توقّع أضعف من توقّع القاعدة الساذجة. يبدو النموذج وكأنه يستدلّ، لكنه في الواقع يعيد إنتاج نمط متوسط أسوأ من رقم الأمس.

فخاخ في البيانات العامة

يتعلق الاستنتاج الثالث بمجموعات البيانات نفسها. ففي أحد الإصدارات العامة، يفصل عمود مؤشر خطر الحريق بين صفوف العيّنة المحجوزة فصلاً تاماً. وهذا تسرّب: فالدرجة العالية لنموذج على مجموعة كهذه لا تكاد تدل على قدراته. وفي مجموعة أخرى، اشتُقّت لدى 67 لقطة جوية للحرائق تسميات «خمود» أو «بلا نار» من قيمة قصوى مقصوصة (clipped) لدرجة الحرارة. وإذا بلغ المستشعر سقف مقياسه، فإن التسمية تعكس حدّ الجهاز لا الواقع.

كل خطأ من هذه الأخطاء يضخّم النتيجة، وهذا النوع من التقييمات تحديداً يصفه المؤلفون بأنه خطِر على القطاع.

ماذا تفعل الفرق التي تُدخل LLM إلى خدمات الإطفاء

قبل أي تجربة تجريبية، ضعوا قاعدة أساس بسيطة، مثل تكرار العدد الحالي للعاملين، واشترطوا أن يتفوق النموذج عليها. فإن لم يتفوق عليها، فربطه بالتخطيط سابق لأوانه. وحيثما تكمن الإجابة في البيانات، امنحوا النموذج أداة وصول بدل الاعتماد على ذاكرته: فـ SQL للقراءة فقط يحقق مكسباً كبيراً بأدنى خطر لإفساد البيانات. وقبل استخدام مجموعات البيانات العامة، افحصوها بحثاً عن تسرّب الخصائص وعن مصدر التسميات. ويكفي أن تسألوا: هل يمكن لعمود واحد أن يتنبأ بالمتغير المستهدف؟ وهل اشتُقّت التسمية من إشارة مشبعة؟

والحذر مطلوب كذلك. فجميع التشغيلات بأسلوب zero-shot، والاستنتاجات تخص مجموعة محددة من خمس مهام. وقد تختلف نتائج الأنظمة المضبوطة ضبطاً دقيقاً أو المتخصصة. لكن الإجابات المفتوحة والشيفرة تتيح التحقق من الأرقام وإضافة نماذجكم الخاصة.