كيف نتوقف عن التخمين ونبدأ بقياس جودة وكلاء الذكاء الاصطناعي

كل فريق أطلق وكيل ذكاء اصطناعي في بيئة الإنتاج يواجه عاجلًا أم آجلًا الكابوس نفسه. يكتب مستخدم إلى الدعم الفني: «روبوتكم يهذي». يفتح المطوِّر السجلات، وينظر إلى الموجِّه (prompt) وإلى الإجابة، ولا يستطيع تحديد ما الذي حدث تحديدًا. هل هو تراجع في الجودة بسبب تعديل الأمس؟ أم أثر جانبي لتغيير النموذج؟ أم مجرد حالة حدّية فاشلة كانت موجودة دائمًا؟ مرّ فريق Bitrix24 بكل مراحل هذه العملية مع وكيله الذكي مارتا، وهو يتشارك الآن الدروس التي ينبغي أن يتعلمها كل من يعمل مع النماذج اللغوية الكبيرة في بيئة الإنتاج.

مارتا مساعد ذكي داخل منظومة Bitrix24، يتعامل مع نظام CRM، ويدير المهام، ويجيب عن أسئلة المستخدمين. في المراحل الأولى بدا كل شيء بسيطًا: تفتح المحادثة، وتطرح سؤالًا، وتقيّم الإجابة بعينيك. إنه الاختبار اليدوي التقليدي، وهو يؤدي الغرض ما دام الوكيل يتقن عشرة أشياء فقط. لكن ما إن توسّعت وظائف مارتا حتى بدأ هذا النهج يتصدّع. فالمهندس الواحد لا يستطيع فعليًا تشغيل مئتي سيناريو بعد كل تعديل على الموجِّه. أما تعديلات الموجِّهات في تطوير منتجات الذكاء الاصطناعي الحديثة فليست استثناءً، بل روتين يومي.

المشكلة التي يصفها الفريق ذات طابع بنيوي. فهندسة الموجِّهات (prompt engineering) غير مستقرة بطبيعتها: إذ قد يؤثر أدنى تغيير في صياغة التعليمات على سلوك النموذج بصورة غير متوقعة في عشرات السياقات المختلفة. أضف إلى ذلك التغيير الدوري لإصدارات النماذج من جانب المزوّدين، وتحديثات موجِّهات النظام، وتوسّع مجموعة الأدوات المتاحة للوكيل، فتحصل على انفجار تركيبي في نقاط الإخفاق المحتملة. وبدون رقابة آلية على الجودة، يعمل الفريق عمليًا في العمى، فيتفاعل مع المشكلات بعد وقوعها بدل أن يمنعها.

والحل الذي توصّل إليه Bitrix24 هو بناء منظومة متكاملة من الاختبارات المعيارية (benchmarks). جوهر النهج أن تُصاغ توقعات الفريق من الوكيل الذكي في شكل مجموعة من سيناريوهات الاختبار ذات معايير نجاح قابلة للقياس. وهذه ليست اختبارات وحدة بالمعنى التقليدي: فإجابات النموذج اللغوي غير حتمية، ولا معنى لفحصها بمطابقة تامة. وبدلًا من ذلك تُستخدم مقاييس تقيّم الصلة بالسؤال، واكتمال الإجابة، وصحة استدعاء الأدوات، ومدى مطابقة نبرة التواصل. وبذلك يبني الفريق في جوهره نظيرًا آليًا لتقييم الخبراء، يمكن تشغيله بعد كل تعديل.

استغرق الطريق من الفكرة إلى منظومة عاملة نحو ستة أشهر، وهو رقم صريح يقول الكثير عن نضج الأدوات في هذا المجال. فالحلول الجاهزة التي يمكن أخذها من الرف وربطها بأي وكيل ذكاء اصطناعي غير موجودة عمليًا. وعلى كل فريق أن يحدد بنفسه المقاييس التي تعكس جودة منتجه تحديدًا، وكيف يُنشئ مجموعات بيانات الاختبار ويُبقيها محدَّثة، وكيف يفسّر النتائج ويدمج الاختبارات المعيارية في خط أنابيب CI/CD. ويؤكد Bitrix24 أن نهجه غير مرتبط ببنية تقنية بعينها، ولعل هذا أثمن ما في تجربته.

تعكس قصة مارتا اتجاهًا أوسع في القطاع. فمع انتقال وكلاء الذكاء الاصطناعي من خانة التجارب إلى خانة الأدوات الحيوية للأعمال، تتزايد متطلبات موثوقيتها بوتيرة أسية. وتستثمر شركات مثل Anthropic وOpenAI وGoogle في أنظمة تقييم النماذج على مستوى المنصات، لكن المسؤولية عن الجودة على مستوى المنتجات المحددة تقع كما كانت على فرق التطوير. ويزيد الأمر تعقيدًا أن المستخدمين يفقدون ثقتهم بالمساعد الذكي سريعًا بعد عدة إجابات فاشلة، واستعادة هذه الثقة أصعب بكثير من خسارتها.

ويستحق التحول الثقافي الكامن وراء هذا الانتقال اهتمامًا خاصًا. فالاختبار اليدوي لوكلاء الذكاء الاصطناعي ليس مجرد ممارسة غير فعّالة، بل هو إحساس زائف بالسيطرة. فالمهندس الذي فحص عشرين سيناريو من أصل مئتين يميل إلى الاعتقاد بأن النظام يعمل على نحو صحيح، بينما لم يختبر في الواقع سوى عشرة في المئة من سطح النظام. والاختبارات المعيارية الآلية لا تزيل عدم اليقين بالكامل، لكنها تجعله مرئيًا وقابلًا للقياس. وما يمكن قياسه يمكن تحسينه.

تجربة Bitrix24 إشارة لقطاع تطوير الذكاء الاصطناعي الناطق بالروسية بأكمله. فالعصر الذي كان يمكن فيه إطلاق وكيل ذكاء اصطناعي في بيئة الإنتاج بعبارة «يبدو أنه يعمل» يقترب من نهايته. وما ينتظرنا هو عصر المقاييس والاختبارات المعيارية والرقابة المستمرة على الجودة. والفرق التي تتقن هذه الممارسات أولًا ستحصل على ميزة حاسمة في التنافس على ثقة المستخدمين.