Cohere Labs تختبر الذكاء الاصطناعي بالألغاز: أكثر من 100 مؤلف من 50 دولة يكشفون ثغرات ثقافية

نفّذت Cohere Labs مشروعًا علميًا مفتوحًا كشف نقطة ضعف في نماذج اللغة: فهي تتحدث بطلاقة، لكنها لا تعرف جيدًا الثقافة التي يتحدث بها الناس. فقد ألّف أكثر من 100 مشارك من أكثر من 50 دولة ألغازًا مرتبطة بالواقع المحلي وقيّموها، ثم راقبوا أداء النماذج، المدرَّبة في معظمها على بيانات إنجليزية، في حلّها. بدت الإجابات مقنعة، لكنها كانت خاطئة في كثير من الأحيان. أما بلغة البوغيس، التي يتحدث بها ملايين الأشخاص، فلم تُظهر النماذج أي معرفة تقريبًا.

كيف تحولت ألغاز مجرية إلى معيار عالمي

بدأ كل شيء مع الدبلوماسي المجري كاروي بوتشكا، المهتم بأبحاث الذكاء الاصطناعي. ابتكر ألغازًا معقدة بروح المسابقات الثقافية باللغة المجرية، واختبر ما إذا كانت النماذج تلتقط الإشارات الثقافية. فوجئ بالنتيجة: بدت الإجابات صحيحة، لكنها لم تطابق الواقع. افتقرت النماذج إلى وقائع محددة، وهلوست في بعض المواضع بشكل صريح.

نقل بوتشكا ملاحظاته إلى يوليا كروتسر، وهي Staff Research Scientist في Cohere Labs، خلال نقاش حول الثقافة في الذكاء الاصطناعي داخل المجتمع العلمي المفتوح التابع للمختبر. رأت كروتسر في ذلك وسيلة لقياس الفجوة بين طلاقة النموذج ومعرفته الثقافية الفعلية. وبالتعاون بينهما توسّع المشروع: دعوة عبر وسائل التواصل الاجتماعي وفي المجتمعات البحثية القائمة لدى Cohere Labs، ودون أي معايير انتقاء. كان يكفي أن ينتمي المرء إلى ثقافة ما وأن يكون مستعدًا لكتابة الألغاز وتقييمها.

اجتمع المشاركون في Discord وبنوا المعايير (benchmarks) بجهودهم الذاتية في موضوعات مثل الرياضة والتاريخ والسياسة. صيغ كل سؤال على هيئة لغز. ولم يكن اختيار هذا الشكل عشوائيًا: فاللغز يقوم على الغموض، لكن له حلًا محددًا، ولذلك يختبر في الوقت نفسه التأويل ومعرفة الوقائع.

تلميذ ومعلمة في دور الباحثين

لا يشبه أبرز المشاركين في المشروع الباحثين من حيث الصفات الرسمية. فقد انضم الأمريكي هنري غانييه، البالغ 16 عامًا، إلى الفريق وتطوع لقيادة أحد المحاور، مع أنه يعترف بأنه كان متهيبًا في البداية. ويقول إن مثل هذا المعيار لا يحتاج إلى مهارات في الذكاء الاصطناعي، بل إلى معرفة حقيقية بالثقافة. وقد أعطاه المشروع تصورًا عما يفعله الباحثون، وهو يعمل الآن على مشاريعه الخاصة ليتعمق في الموضوع.

أما المعلمة الكندية المتقاعدة جين سميث، فاستخدمت عند تقييم الإجابات أسلوبًا تربويًا مألوفًا: تحليل الموضع الذي انحرف فيه مسار التفكير تحديدًا، وما الذي أدى إلى الإجابة الخاطئة. واستعانت في الألغاز بصور مثل النمور والسرطانات لتجعل المنطق أقرب إلى اللعب.

ما سجّله الفريق:

• أكثر من 100 مشارك من أكثر من 50 دولة، والانضمام دون اشتراط خبرة؛
• تنظيم المجتمع والمعايير (benchmarks) في Discord؛
• موضوعات الأسئلة: الرياضة والتاريخ والسياسة وقطاعات ثقافية أخرى؛
• النماذج ذات الانحياز الإنجليزي في التدريب تقدّم إجابات معقولة الظاهر لكنها خاطئة عن الألغاز المحلية؛
• أظهرت النماذج معرفة شبه معدومة بلغة البوغيس، ومن ثم لا معرفة لها بالثقافة المرتبطة بها.

نبرة واثقة بدل «لا أعرف»

دهش غانييه من أن المشكلة أوسع من نقص المعرفة الثقافية: فالنماذج لم تكن تعرف اللغة نفسها. ولاحظت سميث أمرًا آخر: نادرًا جدًا ما أجابت النماذج بعبارة «لا أعرف». وبدلًا من ذلك قدّمت صياغات توحي بالسلطة المعرفية، فيسهل الاعتقاد بأن النظام يفهم الموضوع. وتقول إن هذا بالذات هو المخيف، لأن الناس يبحثون عن إجابات موثوقة. وخلاصتها: الذكاء الاصطناعي ليس خطرًا في ذاته، بل الخطر في غياب التفكير النقدي لدى مستخدميه.

وهذه مشكلة معروفة في الصناعة لكنها لم تُحل جيدًا، وهي معايرة الثقة (calibration): على النموذج أن يدرك حدود معرفته وأن يعلن عنها. وتقول Cohere Labs إنها تعمل على فهم أفضل للسياق وتدرس مدى ثقة النماذج الحديثة بنفسها. وتناول الموضوع نفسه أيضًا منشور آخر في المدونة عن إعادة النظر في مقاربات الثقة في نماذج الاستدلال (reasoning)، صدر في 20 أكتوبر.

ما الذي يجب التحقق منه قبل إطلاق الذكاء الاصطناعي في سوق محلية

إذا كنت تطلق منتجًا في سوق تتحدث لغة غير الإنجليزية أو لها خصوصية إقليمية، فلا تعتمد على المعايير العامة. أعدّ مجموعة اختبار صغيرة بأسئلة من متحدثين أصليين: مؤسسات محلية، وقوانين، وأحداث رياضية، وتعابير اصطلاحية. واحسب بشكل منفصل نسبة الإجابات التي يقرّ فيها النموذج بصدق بأنه لا يعرف، لا نسبة الإجابات الصحيحة وحدها. وبالنسبة إلى اللغات محدودة الموارد، خصّص مراجعة يدوية وضع قيودًا على القرارات المستقلة. ويبيّن مشروع Cohere Labs أن مثل هذه المجموعات يمكن بناؤها بجهود المجتمع، وأن أفضل من يكتب اختبارات التحقق هم أشخاص يعرفون ببساطة كيف تسير الأمور في بيئتهم.