Haiku تمنح PASS وتضع ملاحظة major في مراجعة عشر مقالات: تحليل التقرير

في فحص عشر مقالات، وضع نموذج Haiku في أحد التقارير حكم PASS، ووسم إحدى الملاحظات بأنها major، أي جوهرية، في الوقت نفسه. لم يحاول مؤلفو المادة على Habr ترجيح إحدى الإشارتين على الأخرى. فقد راجعوا التقرير والمصادر الأصلية بين أيديهم، وقسّموا الملاحظات إلى ما أدّى إلى تعديلات وما جرى رفضه. كما دوّنوا بشكل منفصل نوع السياق الذي افتقر إليه النموذج نفسه.

تنبيه مهم: الإعلان لا يتضمن النص الكامل للتحليل. المعروف هو حجم العينة ونوع التناقض والبنية العامة للاستنتاجات. أما الأخطاء المحددة وصياغات الـ prompt ونسب التعديلات المقبولة فلم يُكشف عنها في الجزء المتاح للعامة، ولذلك لا نخمّنها هنا.

أين ينكسر منطق التقرير

يصف PASS وmajor أمرين مختلفين. الأول يعني عادةً القرار النهائي: «يمكن تمرير المادة». أما الثاني فيصف خطورة نتيجة منفردة. في المخطط السليم ينبغي أن تمنع ملاحظة major صدور PASS، وإذا لم يحدث ذلك فهذا يعني أن حقلين داخل رد المراجع الواحد يتعارضان.

أسباب هذا التباين في مراجعات LLM معروفة من الممارسة العامة، لكنها تبقى في هذه الحالة مجرد فرضيات:

• يُولَّد الحكم وقائمة الملاحظات بالتتابع، ولا ينسّق النموذج بينهما دائمًا؛
• التقييم النهائي يجيب عن سؤال «هل يُقرأ النص ويتسق في مجمله»، بينما تثبّت الملاحظة واقعة محلية؛
• النموذج المضغوط يرى نص المقال، لكنه لا يرى المستودع ولا ملفات الإعدادات ولا الإصدارات التي يستند إليها المقال.

يتقاطع البند الأخير مع استنتاج المؤلفين أنفسهم: جزء من الاعتراضات سببه نقص السياق لدى النموذج، لا خطأ في النص.

ماذا أظهرت المقارنة بالمصادر الأصلية

أسفرت المقارنة بالمصادر الأولية عن ثلاث فئات من النتائج. الأولى: ملاحظات تأكدت صحتها ومقالات جرى تصحيحها. الثانية: ملاحظات رُفضت لأن النموذج أخطأ أو قرأ المقطع قراءة خاطئة. الثالثة: حالات تعذّر فيها تقييم صحة الملاحظة دون بيانات لم يحصل عليها المراجع.

الفئة الثالثة هي الأكثر فائدة عمليًا تقريبًا. فهي لا تُظهر جودة النموذج بوجه عام، بل حدود صلاحية تركيبة محددة هي «النموذج مضافًا إليه البيانات المُدخلة». وإذا كان المراجع يخطئ بشكل منتظم في الوقائع المأخوذة من مصادر خارجية، فإن الحل يكمن في توسيع المدخلات، لا في استبدال النموذج.

أهم معطيات التجربة:

• المراجع: Haiku، وهو بحسب اسمه نموذج صغير من عائلة Claude؛
• العينة: 10 مقالات؛
• التناقض المسجَّل: حكم PASS مع ملاحظة major؛
• طريقة التحقق: مقارنة يدوية للتقرير بالمصادر الأصلية؛
• النتيجة: قُبلت التعديلات جزئيًا ورُفضت جزئيًا، وحُدّدت فجوات السياق بشكل منفصل.

عشر مقالات عينة أصغر من أن تصلح للإحصاء. تصلح كملاحظة على سلوك خط المعالجة (pipeline)، لكنها لا تصلح كاختبار معياري (benchmark).

كيف تُبنى هذه المراجعة عمليًا

الخلاصة الرئيسية لمن يوكل إلى LLM تدقيق النصوص أو الشيفرة: لا تعتمدوا على حقل الحكم المنفرد. إذا كان التقرير يتضمن درجة خطورة الملاحظات، فالأفضل أن تُحسب النتيجة النهائية بقاعدة خارج النموذج. أي ملاحظة major أو critical تحيل المادة إلى مراجعة يدوية، بصرف النظر عما كُتب في PASS.

الإجراء الثاني: تزويد المراجع بالسياق الذي تشير إليه المادة المفحوصة، أي الملفات المصدرية وإصدارات المكتبات وروابط الوثائق. وإذا كان النموذج لا يرى شيئًا، فليُرجع حالة «بيانات غير كافية» بدلًا من PASS واثق. ويستحسن النص على هذه الحالة صراحةً في الـ prompt.

الإجراء الثالث: تسجيل حالات التباين مثل PASS مع major كمقياس مستقل. فنسبتها تبيّن مدى إمكانية الوثوق بصيغة التقرير، وتشير إلى الوقت المناسب لتعقيد المخطط، مثلًا بإضافة تمريرة ثانية أو استخدام نموذج أقوى في الحالات الخلافية فقط.

يبقى النموذج الرخيص في دور المراجع خيارًا عمليًا ما دام حكمه يخضع للتحقق بالقواعد، ولا يُقبل على الثقة.