Sixtyfour: شركة ناشئة من Y Combinator تقيّم كل مخرجات وكيل AI

قدمت شركة Sixtyfour، التي أسسها Saarth Shah و Christopher Price، نهجاً جديداً من حيث المفهوم لتطوير وكلاء الذكاء الاصطناعي للبحث. الشركة، التي مرّت عبر حاضنة Y Combinator، طورت نظاماً يعارض الممارسة السائدة في الصناعة: بدلاً من تشغيل نموذج لغة على بيانات الويب والثقة العمياء بالنتائج، بنت Sixtyfour مكدساً صارماً للتقييم. يخضع كل إطلاق وكيل بحث لنظام تقييم صارم: يتم اختباره مقابل مجموعة من الأسئلة أعدها المتخصصون يدويّاً، وينتقل إلى الإنتاج فقط الكود الذي يحسّن بشكل مثبت مقاييس الجودة النهائية.

لماذا الثقة العمياء في نماذج اللغة الكبيرة غير كافية

تعمل معظم أدوات الذكاء الاصطناعي الحديثة للبحث عن المعلومات وتحليلها وفقاً لنظام بسيط: توجيه نموذج لغة نحو مصادر الويب، والحصول على إجابة واعتبارها صحيحة. تكون سرعة تنفيذ هذه الأنظمة عالية، لكن الموثوقية تبقى موضع شك. تميل نماذج اللغة إلى الهلوسة — اختلاق حقائق غير موجودة في المصادر. يمكنها أن تسيء فهم النص، خاصة إذا كانت المعلومات متناقضة أو تتطلب حساباً. في بعض الأحيان، ينشئ النموذج حلقات منطقية تبدو مقنعة لكنها لا تصمد أمام التدقيق.

اختار Saarth Shah، مؤسس Sixtyfour، اتخاذ المسار المعاكس: السيطرة على كل خطوة من خطوات الوكيل. يحتفظ بجدول نتائج دقيق — حرفياً جدول حيث يتم تسجيل جودة كل نسخة من الوكيل. إذا تحسنت النقاط، تُطلق النسخة إلى الإنتاج. إذا انخفضت النقاط، تتراجع الفريق عن التغييرات، وتحلل مكان الخطأ، وتعيد صياغة المنطق أو المعاملات. هذا يختلف بشكل جذري عن النهج المألوف "أطلقها وتمنَّ الأفضل".

كيفية عمل نظام التقييم

يتمثل جوهر Evaluation Stack لـ Sixtyfour في مجموعة من أسئلة التحكم التي أعدها المتخصصون يدويّاً ممن لديهم خبرة في البحث وتحليل البيانات. تعكس هذه الأسئلة سيناريوهات العالم الحقيقي: البحث عن معلومات دقيقة في أحجام نصية كبيرة، تحليل مقالة للأخطاء الواقعية، تجميع البيانات من مصادر متعددة، التحقق من الادعاءات من خلال عمليات البحث المرجعي المتقاطع.

يتم تشغيل كل إصدار جديد (نسخة) من وكيل البحث مقابل هذه المجموعة من أسئلة التحكم. يسجل النظام ثلاث معاملات حرجة الأهمية: هل قدم الوكيل الإجابة النهائية الصحيحة؟ ما مدى اكتمال وتفصيل الإجابة؟ هل توجد أخطاء منطقية أو هلوسة في تفكير الوكيل؟ بناءً على هذه المعاملات، يتم حساب درجة جودة عامة.

تشبه المنهجية اختبار الوحدة في تطوير البرمجيات الكلاسيكي، لكنها تُطبّق على جودة الحكم في وكيل ذكاء اصطناعي بدلاً من صحة الكود. إذا أدخل المطور تحسيناً على تعليمات أو معمارية الوكيل، فلا يجب لهذا التحسين أن يخفض الدرجة الإجمالية على مجموعة التحكم. من الناحية المثالية، يجب أن يحسّن الدرجة. هذا يضمن أن كل تغيير في الإنتاج لا يضر موثوقية النظام.

السيطرة البشرية على حكم الآلة

تفصيل حرج الأهمية من فلسفة Sixtyfour: نظام التقييم يبقى في أيدي البشر، وليس موكول بالكامل إلى نماذج اللغة. يقوم الأشخاص بإعداد الأسئلة لمجموعة التحكم — متخصصون يفهمون المخاطر الحقيقية والحالات الحدية. هذا يقلل من خطر الفشل المتسلسل — الحالات التي يسبب فيها خطأ في جيل النماذج N أخطاء مخفية في الجيل N+1، لأن النموذج تم تدريبه على بيانات تحتوي على أخطاء.

ما يعنيه هذا للصناعة

يشير نهج Sixtyfour إلى لحظة حاسمة في تطوير وكلاء الذكاء الاصطناعي. تنتقل الصناعة تدريجياً من الادعاءات التسويقية ("وكيلنا هو الأذكى") إلى مقاييس جودة موضوعية وقابلة للتكرار. هذا انتقال من عصر الوعود إلى عصر الإثبات.

هذا حرج بشكل خاص للتطبيقات الحرجة للبحث والتحليل: التنبؤات المالية، التوصيات الطبية، تحليل المستندات القانونية — مجالات حيث يكون خطأ الوكيل مكلفاً أو قد يؤذي الإنسان.

ستُلهم منهجية Sixtyfour على الأرجح شركات ناشئة أخرى ومختبرات بحثية. لكن على نطاق أوسع: مسألة التحقق والتقييم من وكلاء الذكاء الاصطناعي ليست مشكلة تجارية ضيقة لشركة ناشئة واحدة، بل مشكلة منهجية في كامل صناعة تطوير نماذج اللغات الكبيرة وتطبيقاتها الموكلة.