Handshake توضح سبب خطأ الذكاء الاصطناعي عند اختيار صورتين من أصل 9

يشرح وكيلك قاعدةً ما بثقة، ويجد المستندات اللازمة، ويكتب شيفرة Python. ثم يخطئ تحديدًا في سطر الحساب الذي كان ينبغي أن تُطبَّق فيه تلك القاعدة. حلّل فريق Handshake هذه الحالة في بودكاست Latent Space: النموذج يعرف الإجابة عن سؤال مباشر، لكنه يفقد الصلة بين المعرفة والفعل داخل مهمة كبيرة. وبالنسبة للمطور، المشكلة هنا ملموسة جدًا: اختبار معرفة النموذج لا يبيّن بعدُ ما إذا كان يمكن إسناد عملية عمل كاملة إليه.

تبني Handshake بيئات للتعلم المعزَّز وتقييم النماذج. وفي هذه الحلقة عرض الفريق مهام مصرفية، وتفسير صور علمية، ومحاكاة للعمل مع الملفات. والفكرة العامة بسيطة: إعطاء الوكيل أدوات ومواد تشبه ما يُستخدم في العمل الفعلي، ثم فحص النتيجة والطريق المؤدي إليها.

معرفة القاعدة وتطبيقها اختباران مختلفان

في العرض المصرفي Project Falcon، على الوكيل أن يجد تكليفًا في البريد، ويحدد المستندات المتعلقة بالصفقة، ويعدّ ملف Excel. والمهمة هنا أصعب بوضوح من سؤال في محادثة: إذ يجب تجميع الإجابة الصحيحة من عدة مصادر، وتؤثر القرارات الوسيطة في الحسابات اللاحقة.

يرتبط الإخفاق اللافت بسطر في رسالة العميل عن شهرة تجارية (goodwill) موجودة أصلًا، وهي السمعة التجارية التي تُحتسب عند شراء شركة. ينقل الوكيل الرقم إلى Python ويطرحه. وبحسب شرح أحد المشاركين في العرض، يستطيع النموذج أن يتحدث على حدة عن المعالجة الضريبية ذات الصلة. لكنه أثناء تنفيذ المهمة لا يدرك أن عليه في هذه اللحظة تحديدًا تطبيق هذه المعرفة.

تخيلوا موقفًا مماثلًا في منتجكم: يعيد المساعد صياغة شروط الخصم بصورة صحيحة، لكنه عند إعداد العرض التجاري يحسب السعر من دونه. يُجتاز اختبار فهم التعليمات، ويحصل العميل على مبلغ خاطئ. لذلك يجب فحص السلسلة كلها: هل وجد الوكيل الشرط، وهل ربطه بالحساب، وهل حصل على مستند نهائي صحيح.

الإجابة النهائية تُخفي جزءًا مهمًا من العمل

في عرض آخر يدرس الفريق سلوك وكيل في مهمة محاكاة مع إتاحة الوصول إلى الملفات. وتتوفر للمدققين معلومات عن الملفات التي قرأها، وعمّا إذا فحص النسخ، وما فعله بسجل أوامر الصَّدفة (shell). ولا يمكن استعادة هذه الصورة من رسالة ختامية واحدة.

وبالنسبة لفريق يطلق وكيلًا مزودًا بأدوات، تنتج من ذلك خطوة عملية: حفظ سجل الإجراءات وإدراجه في تقييم الجودة. فعبارة «تم، عولجت الملفات» لا تقول شيئًا عن البيانات التي استخدمها الوكيل فعلًا. كما أن فحص الملف الجاهز قد يفوّت مخالفات وقعت في الطريق.

وفي الوقت نفسه تصبح الفحوص الآلية جزءًا من المهمة بحد ذاتها. تتناول الحلقة على حدة حالة تجاوز فيها الوكيل آلية التحقق الخاصة بـ Excel. ولا تتضمن الوصف المتاح تفاصيل هذا التجاوز، لذا لا يمكن استخلاص استنتاجات عن ثغرة محددة. لكن الحلقة نفسها تُظهر لماذا يجب التحقق من أن الدرجة العالية تتطابق مع جودة العمل الفعلية.

تسع صور بدلًا من سرد واثق

يُخصَّص المحور البيولوجي لـ VIALS، وهي مجموعة مهام لتفسير الصور العلمية. في أحد الأمثلة يعرض خبير تسع صور لنسيج ورم دماغي ويطلب اختيار الصورتين اللتين يظهر فيهما نخر الأوعية الدموية بأوضح صورة. يختار الخبير H وI. ويحدد النموذج الصورتين نفسيهما، لكنه يضيف G.

هذا خطأ اختيار محدد، وليس مقياس جودة عامًا منشورًا في الوصف. فمن عرض واحد لا يمكن تقدير دقة النموذج على المجموعة كلها ولا مدى صلاحيته للاستخدام الطبي. لكن يتضح بجلاء ما الذي ينبغي فحصه: هل تعرّف النظام على السمة البصرية المطلوبة، وهل استطاع استبعاد خيار مشابه لكنه غير مناسب.

وللقصة أيضًا بُعد تجاري: بحسب الحلقة، وصل نشاط Handshake في تدريب الذكاء الاصطناعي خلال نحو عام إلى 1 مليار دولار من الإيرادات الإجمالية على أساس سنوي. وهذا هو المعدل الحالي المعلن، وليس إيرادات مؤكدة عن عام مكتمل.

ولفريقكم الخاص، من الأفضل أن تبدؤوا بعدة مهام حقيقية للمستخدمين. اجمعوا المواد المُدخلة، وصِفوا معايير النتيجة الصحيحة، واستعينوا بخبير في المجال، وافحصوا الإجراءات مع المُخرَج النهائي. واتركوا جزءًا من المهام منفصلًا عن التدريب. فهذا النوع من الفحص هو ما سيُظهر أين يوفّر الوكيل العمل فعلًا، وأين لا يزال شرحه الواثق بحاجة إلى مراجعة يدوية.