Artificial Analysis تشدّد اختبار الذكاء الاصطناعي: على النموذج الآن معالجة المستند دون أي خطأ من أصل 15

قرأ الذكاء الاصطناعي مبلغ الفاتورة قراءة صحيحة، ووجد بيانات المورّد الرسمية، لكنه أخطأ في تحديد ما إذا كان الدفع يحتاج إلى فحص إضافي. بالنسبة للأعمال، هذا يعني مستندًا واحدًا عولج بشكل سيئ. والدقة العالية في الإجابات المنفردة لا تعوّض كثيرًا هنا، إذ سيضطر موظف إلى التدخل على أي حال.

قدّمت Artificial Analysis النسخة الثانية من Decision Index، وهو تصنيف للنماذج في اتخاذ القرارات. يوفّر التحديث مرجعًا مفيدًا لمن يؤتمتون معالجة المستندات: اعتبار المهمة كاملة ناجحة أو فاشلة، وأخذ ثقة النموذج في الحسبان، ومقارنة تكلفة النتيجة المكتملة. وبحسب المؤلفين، تمثّل مجموعات البيانات المغلقة الآن 45% من وزن المؤشر مقابل 25% في النسخة الأولى. ومن شأن ذلك أن يصعّب تكييف النماذج مع المهام المعروفة.

97% من الإجابات الصحيحة لا تعني مستندًا جاهزًا

يضم اختبار AA-Paperclip المغلق الجديد 1500 مستند: سير ذاتية وإيصالات وفواتير ومقالات علمية. على النموذج في كل مستند اتخاذ خمسة قرارات واستخراج عشر حقائق. ولا يُحتسب المستند إلا إذا صحّت جميع الإجابات الخمس عشرة. ويبلغ وزن هذا الاختبار في المؤشر 30%.

لنتخيّل معالجة فاتورة واردة. يستخرج النظام المبلغ والعملة والتاريخ وحقولًا أخرى، ثم يقرر وجهة المستند. وإذا أخطأ في حقل مهم أو في قرار واحد، فقد ينكسر المسار الآلي. أما التقييم سؤالًا بسؤال فيذيب هذه المشكلة بين عشرات الإجابات الصحيحة، بينما يكشفها فحص المستند كاملًا فورًا.

في نتائج Artificial Analysis، يجيب نموذج Drex Max v1.1 بشكل صحيح عن 97% من أسئلة AA-Paperclip المنفردة، لكنه يجتاز بالكامل 63% فقط من المستندات. أما Claude Haiku 5.5 (Max) فتبلغ النسبتان لديه 99% و92%. فالفارق البالغ نقطتين مئويتين على مستوى الإجابات يتحول إلى 29 نقطة على مستوى المستندات.

وهذا سبب للمنتجات كي تعيد النظر في فحوصاتها الخاصة. فإلى جانب دقة الحقول، ينبغي قياس نسبة المستندات التي تمرّ بالسيناريو كاملًا دون تصحيحات. لكن يجب ربط شرط «كل شيء صحيح» بطبيعة المهمة: فالخطأ في حقل اختياري يختلف في عواقبه عن خطأ في مبلغ الدفع.

الخطأ الواثق يخفض الدرجة

يأخذ المقياس الرئيسي الجديد Decision Score في الحسبان صحة الإجابة والاحتمال المعلن لصحتها. ويحصل الخطأ الواثق على تقييم أدنى من الخطأ المصحوب باعتراف بعدم اليقين. ولا يمكن قراءة الدرجة النهائية على أنها نسبة الإجابات الصحيحة.

والمغزى العملي واضح: إذا ساور النموذج الشك، يمكن للتطبيق تمرير المستند إلى موظف أو إلى نموذج أقوى. لكن هذا المسار لا يعمل إلا إذا كانت الثقة مرتبطة فعلًا بالجودة. فمجرد عبارة «واثق بنسبة 90%» لا تكفي، وعليكم التحقق من هذه العلاقة على بياناتكم الخاصة.

ويختبر اختبار جديد آخر، AA-Symmetry، ثبات الإجابات أمام إعادة الصياغة. يغيّر المؤلفون ترتيب الخيارات والرموز وشكل السؤال. وهذه مخاطرة مألوفة للمطوّر: تعديل بسيط في القالب يغيّر سلوك النظام فجأة.

ومع ذلك ثمة تحفّظ. فبحسب ملاحظة Artificial Analysis، يعود الثبات العالي لدى بعض النماذج إلى كثرة امتناعها عن الإجابة. والامتناع المستقر مفيد كإشارة حذر، لكنه لا يعني بحد ذاته أن النظام يحل مهام أكثر.

احسبوا تكلفة المسار كاملًا

يُظهر التصنيف أيضًا لماذا تنطوي مقارنة النماذج بسعر مليون رمز فقط على مخاطرة. فبعض الخدمات تحتسب المستند المُدخل مرة واحدة لجميع الأسئلة، وبعضها يعالجه من جديد لكل سؤال.

وبحسب حسابات Artificial Analysis، يكلّف مليون مهمة 102 دولار مع Drex Max v1.1، و780 دولارًا مع GLiDE v1.2. ومع ذلك فإن سعر الرموز المعلن لدى GLiDE أعلى بنسبة 33% فقط. ويُحدث إعادة معالجة المدخلات فارقًا كبيرًا. وتخص هذه المبالغ منهجية التصنيف؛ أما ميزانية تطبيق بعينه فتتوقف على المستندات وعدد الطلبات.

قبل اختيار النموذج، يُستحسن تمرير عينة متطابقة عبر سيناريو العمل الكامل، وقياس نسبة المستندات المكتملة وزمن الاستجابة والتكاليف وعدد مرات التحويل إلى الإنسان. ثم التحقق على حدة مما يحدث بعد إعادة صياغة الأسئلة ومدى إمكانية الوثوق بتقديرات الثقة. يقدّم المؤشر المحدَّث نموذجًا مفيدًا للفحص، لكن مستنداتكم أنتم هي التي ستحدد الفائز في عمليتكم.