الأنطولوجيا مدقِّقًا لوكيل الذكاء الاصطناعي: على UniProt تتفوق علامات الخطأ فيها على الصدفة بهامش ضئيل فقط

اختبر باحثون في Sano Centre for Computational Medicine ما إذا كان يمكن الوثوق بالأنطولوجيا حكمًا على وكيل ذكاء اصطناعي. والأنطولوجيا وصف مقروء آليًا لأنواع الكيانات الموجودة في الرسم البياني المعرفي وللطرق الممكنة لارتباطها. يجيب الوكيل القائم على نموذج لغوي كبير (LLM) عن السؤال باستعلام بلغة SPARQL موجّه إلى الرسم البياني، مثل قاعدة UniProt. ثم تطابق الأنطولوجيا الاستعلام والنتيجة، فتمرّر الإجابة أو تضع عليها علامة. وعلى إجابات الوكلاء الفعلية، لم تتفوق علامات الأنطولوجيا الخبيرة في UniProt على العلامات العشوائية إلا بهامش ضئيل. وهذه المقارنة بالعلامات العشوائية هي المقصود بعبارة «أفضل بقليل من الصدفة» في العنوان.

لماذا يكون الإنذار الكاذب خطيرًا

آلية التحقق بسيطة. يكتب الوكيل استعلامًا، ثم تطابقه أداة التحقق ونتائجه مع الأنطولوجيا. إذا ظهرت علامة، يحصل الوكيل على محاولة إعادة واحدة. وهنا تكمن المخاطرة: حين تكون العلامة كاذبة، قد يحوّل الوكيل إجابة صحيحة إلى إجابة خاطئة. وقد لوحظ أمر مشابه سابقًا عند تحسين استعلامات text-to-SQL. ولا تكشف الدقة النهائية هذا الأثر، لأن الأخطاء التي جرى اكتشافها والإجابات الصحيحة التي أُفسدت تختلط فيها. لذلك يحسب المؤلفون بصورة منفصلة عدد الأخطاء التي رصدها التحقق وعدد الإجابات الصحيحة التي وسمها دون مبرر.

والأنطولوجيات أكثر عرضة للإنذارات الكاذبة. فبديهياتها تُقرأ كقيود صارمة، بينما لا تصف الأنطولوجيات المنشورة البيانات وصفًا كاملًا. ففي مسح للبيانات المترابطة (Linked Data)، استخدمت 14.3% من الثلاثيات خصائص غير موجودة في أي من المفردات التي جرى فحصها. وأي أداة تحقق تشترط التصريح عن كل خاصية كانت سترفض أيضًا الإجابات الصحيحة المعتمدة على هذه الخصائص.

وهناك مثال على تحقق ناجح. لنفترض أن الأنطولوجيا تنص على أن تاريخ الميلاد لا يكون إلا للإنسان، وأن المدينة والإنسان صنفان متنافيان. عندئذ يتعارض استعلام عن تاريخ ميلاد مدينة مع الأنطولوجيا، وتكون العلامة في محلها. لكن الاستعلام قد يُنفَّذ دون أخطاء ومع ذلك يجيب عن سؤال آخر غير السؤال المطروح. وقد لا ترصد عمليات التحقق البنيوية هذا النوع من الأخطاء.

ثلاثة مصادر للأنطولوجيا وثلاث طرق لاستخدامها

قارن الباحثون ثلاثة أنواع من الأنطولوجيات:

• الخبيرة. كتبها بشر يدويًا، واستُخدمت بالصيغة التي نُشرت بها. • المستنتجة من البيانات. استُخرجت من الرسم البياني نفسه. • التي كتبها نموذج لغوي كبير. بناها النموذج استنادًا إلى ملخص للرسم البياني استُبدلت فيه المعرّفات بأسماء معتمة. وأراد المؤلفون بذلك استبعاد حالة يكتفي فيها النموذج اللغوي الكبير باستذكار معرّفات من رسوم بيانية عامة.

واستُخدمت كل أنطولوجيا سياقًا في طلب الوكيل، أو أداةً للتحقق من الإجابة، أو في الدورين معًا. كما بحث الباحثون ما إذا كان دمج المصادر مفيدًا، وما إذا كان من المجدي عرض رسالة التحقق المحددة على الوكيل.

كيف نُظّمت التجربة

بُني الوكلاء على خمسة نماذج مفتوحة الأوزان ونموذجين مغلقين. أُجري الجزء التأكيدي من الدراسة على UniProt. أما الرسوم البيانية العامة الأخرى والرسم البياني الخاص، الذي ذُكر حجمه في النص بأنه «قرابة» عدد معيّن من الثلاثيات، فقد أعطت نتائج استكشافية. وسُجّلت خطة التحليل مسبقًا.

ولكي تكون المقارنة منصفة، راعى المؤلفون ثلاثة اعتبارات. بعض الأخطاء يكشفها تنفيذ الاستعلام نفسه، كالنتيجة الفارغة، وقد فُصلت هذه عن الأخطاء التي رصدها التحقق. واختُبرت عمليات التحقق على إجابات الوكلاء الفعلية وعلى أخطاء مصطنعة أُدخلت في استعلامات صحيحة. وأخيرًا، شُغّلت كل عملية تحقق على الإجابات والأخطاء نفسها، وقورن قرارها بالإجابة الصحيحة المعروفة مسبقًا.

ماذا كانت النتيجة

على UniProt، وسمت الأنطولوجيا الخبيرة عددًا أكبر من الإجابات الصحيحة مقارنةً بالأنطولوجيا المستنتجة من البيانات وبالأنطولوجيا التي استنتجها النموذج اللغوي الكبير من ملخص أُخفيت معرّفاته. وعلى إجابات الوكلاء الفعلية، لم تتفوق علاماتها على العلامات العشوائية إلا بهامش ضئيل. ويقايض كل مصدر للأنطولوجيا الأخطاء المرصودة بالإنذارات الكاذبة على طريقته. والأنطولوجيا الخبيرة بصيغتها المنشورة تتعارض في مواضع مع بيانات رسمها البياني نفسه. كما أن عمليات التحقق البنيوية تُفوّت جزءًا من الأخطاء.

ماذا يعني ذلك

وجود أنطولوجيا خبيرة جاهزة لا يجعلها حكمًا جيدًا بعدُ. وقبل تفعيل التحقق، ينبغي قياس أمرين: عدد الأخطاء التي يرصدها، وعدد الإجابات الصحيحة التي يفسدها عبر محاولة الإعادة. ومن عالم تطوير البرمجيات يأتي هذا المعيار: في التحليل الساكن ضمن مراجعة الشيفرة في Google، يجب أن تقل النسبة الفعلية للإنذارات الكاذبة عن 10%، وإلا فقد المطورون ثقتهم بالأداة.

ويفيد ناشري الرسوم البيانية أن يطابقوا الأنطولوجيا مع البيانات قبل النشر. أما مطورو الوكلاء فعليهم أن يقرروا على نحو منفصل أين تكون الأنطولوجيا أنفع: في السياق، أم في التحقق، أم في الموضعين معًا. وقد نشر المؤلفون مجموعة من الأخطاء المصطنعة مع إجابات صحيحة معروفة مسبقًا، إضافة إلى الشيفرة وبروتوكول يحسب الأخطاء المرصودة والإنذارات الكاذبة دون تشغيل الوكيل.