Sixtyfour: شركة ناشئة من Y Combinator تقيّم كل مخرجات وكيل الذكاء الاصطناعي

قدّمت شركة Sixtyfour الناشئة، التي أسسها Saarth Shah وChristopher Price، منهجاً جديداً من حيث المفهوم في تطوير وكلاء الذكاء الاصطناعي المخصصين للأبحاث. وبعد مرورها بحاضنة Y Combinator، طورت الشركة نظاماً يخالف الممارسة السائدة في القطاع: فبدلاً من توجيه نموذج لغوي إلى بيانات الويب والوثوق بالنتائج دون تدقيق، بنت Sixtyfour منظومة تقييم صارمة (rigorous evaluation stack). يمرّ كل إصدار من وكيل الأبحاث عبر نظام تقييم دقيق: إذ يُختبر على مجموعة أسئلة أعدّها متخصصون يدوياً، ولا يصل إلى بيئة الإنتاج (production) إلا الكود الذي ثبت أنه يحسّن مقاييس الجودة النهائية.

لماذا لا تكفي الثقة العمياء بنماذج LLM

تعمل معظم أدوات الذكاء الاصطناعي الحديثة للبحث وتحليل المعلومات وفق مخطط بسيط: توجيه نموذج لغوي إلى مصادر على الويب، والحصول على إجابة، واعتبارها صحيحة. وسرعة تنفيذ هذه الأنظمة عالية، لكن موثوقيتها تبقى محل تساؤل. فالنماذج اللغوية تميل إلى الهلوسة، أي اختلاق وقائع غير موجودة في المصادر. وقد تسيء تفسير النص، خصوصاً إذا كانت المعلومات متناقضة أو تتطلب إجراء حسابات. وأحياناً ينتج النموذج حلقات منطقية تبدو مقنعة لكنها لا تصمد أمام التدقيق.

اختار Saarth Shah، مؤسس Sixtyfour، السير في الاتجاه المعاكس: التحكم في كل خطوة يتخذها الوكيل. فهو يحتفظ بلوحة نتائج (scoreboard) دقيقة، هي حرفياً جدول تُسجَّل فيه جودة كل إصدار من الوكيل. فإذا تحسنت النتيجة، يُطلق الإصدار في بيئة الإنتاج. وإذا انخفضت، يتراجع الفريق عن التغييرات، ويحلل سبب الخطأ، ثم يعيد صياغة المنطق أو المعاملات. وهذا يختلف جذرياً عن النهج المعتاد «أطلق وتمنَّ الأفضل».

كيف يعمل نظام التقييم

يتمحور جوهر منظومة التقييم (Evaluation Stack) في Sixtyfour حول مجموعة أسئلة مرجعية أعدّها يدوياً متخصصون لديهم خبرة في البحث وتحليل البيانات. وتعكس هذه الأسئلة سيناريوهات عمل حقيقية: البحث عن معلومة دقيقة ضمن كميات كبيرة من النصوص، وتحليل مقال بحثاً عن أخطاء في الوقائع، ودمج بيانات من عدة مصادر، والتحقق من الادعاءات عبر البحث المتقاطع.

يُشغَّل كل إصدار جديد (build) من وكيل الأبحاث على هذه المجموعة من الأسئلة المرجعية. ويسجّل النظام ثلاثة معايير بالغة الأهمية: هل قدّم الوكيل الإجابة النهائية الصحيحة؟ وما مدى اكتمال الإجابة وتفصيلها؟ وهل في استدلالات الوكيل أخطاء منطقية أو هلوسات؟ وبناءً على هذه المعايير تُحتسب نتيجة الجودة النهائية.

تشبه هذه المنهجية اختبار الوحدات (unit testing) في تطوير البرمجيات التقليدي، لكنها تُطبَّق على جودة أحكام وكيل الذكاء الاصطناعي بدلاً من صحة الكود. فإذا أدخل المطوّر تحسيناً على الـ prompt أو على بنية الوكيل، فيجب ألا يخفض هذا التحسين النتيجة الإجمالية على المجموعة المرجعية. والأفضل أن يرفعها. وهذا يضمن أن كل تغيير يصل إلى بيئة الإنتاج لا يضر بموثوقية النظام.

رقابة بشرية على الحكم الآلي

ثمة تفصيل بالغ الأهمية في فلسفة Sixtyfour: نظام التقييم يبقى بيد البشر، ولا يُسلَّم بالكامل للنماذج اللغوية. فالأسئلة التي تتكوّن منها المجموعة المرجعية يعدّها أشخاص، هم متخصصون يدركون المخاطر الفعلية والحالات الحدّية. ويقلل ذلك من خطر الإخفاقات المتسلسلة (cascade failures)، وهي الحالة التي يولّد فيها خطأ في الجيل N أخطاء خفية في الجيل N+1، لأن النموذج تدرّب على بيانات تحتوي أخطاء.

ماذا يعني ذلك للقطاع

يشير نهج Sixtyfour إلى نقطة تحول في تطوير وكلاء الذكاء الاصطناعي. فالقطاع ينتقل تدريجياً من الادعاءات التسويقية («وكيلنا هو الأذكى») إلى مقاييس جودة موضوعية قابلة للتكرار (reproducible). إنه انتقال من عصر الوعود إلى عصر الإثباتات.

وتتضح أهمية ذلك خصوصاً في التطبيقات الحساسة للبحث والتحليل: التوقعات المالية، والتوصيات الطبية، والتحليل القانوني للوثائق، وهي مجالات يكلّف فيها خطأ الوكيل ثمناً باهظاً أو قد يلحق ضرراً بالإنسان.

ومن المرجح أن تستلهم شركات ناشئة ومختبرات بحثية أخرى منهجية Sixtyfour. لكن الأمر أوسع من ذلك: فمسألة التحقق من وكلاء الذكاء الاصطناعي وتقييمهم ليست مشكلة تجارية ضيقة تخص شركة ناشئة واحدة، بل مشكلة منهجية تواجه قطاع تطوير النماذج اللغوية الكبيرة وتطبيقاتها الوكيلة بأكمله.