بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

45% من تقارير الذكاء الاصطناعي حصلت على 3 نقاط أو أقل: كيف اكتشفت Atom الأسباب في الموجّهات

في شركة Atom، كان 45% من تقارير الذكاء الاصطناعي الخاصة باجتماعات العمل يحصل على 3 نقاط أو أقل من حَكَم LLM في Langfuse. راجع الفريق يدويًا 56 تقريرًا من هذه التقارير إلى جانب النصوص المفرّغة. واتضح أن الموجّه يتسبب في 45% من الإخفاقات، بينما يعود 36% إضافية إلى عدم ملاءمة نوع الاجتماع. كما دفعت القواعد الصارمة لمكافحة الهلوسة النموذج إلى إسقاط مهام حقيقية.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
45% من تقارير الذكاء الاصطناعي حصلت على 3 نقاط أو أقل: كيف اكتشفت Atom الأسباب في الموجّهات
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
مؤشرات القيمة أهم من الزياراتارتفع عدد الإجراءات ذات القيمة لكل مستخدم من 3.4 إلى 6.8
حقيقة رئيسية #2من بين التقييمات المنخفضة، كان 7% ناتجًا عن أخطاء حَكَم LLM نفسه
حقيقة رئيسية #3تكلفة تقرير ذكاء اصطناعي واحد أقل من 100 روبل

عندما اطّلع فريق AI LAB في شركة Atom للمرة الأولى على التقييمات الآلية لتقارير الذكاء الاصطناعي الخاصة باجتماعات العمل، كانت الصورة مقلقة: حصل 45% منها على 3 نقاط أو أقل. ولتحديد ما إذا كانت هذه النسبة مرتفعة بالفعل، كان لا بد أولًا من تعلّم كيفية قياس مَن يستخدم الخدمة فعليًا وما الذي يحصل عليه منها.

أولًا، مؤشرات الاستخدام

بدأ الفريق بعلامة تبويب في لوحة الإدارة تعرض قائمة بمن دخلوا إلى Transkribator. كانت هذه القائمة تُظهر الاهتمام، لكنها لم تكشف ما فعله المستخدم بعد ذلك. ثم أضاف الفريق أعداد الزوار والمستخدمين النشطين والجدد، وعدد المشروعات والملفات المفرّغة نصيًا. وبعدها حدّد «الإجراءات ذات القيمة»: تنزيل مستند، والحصول على نص مفرّغ، ومشاهدة تقرير ذكاء اصطناعي لأكثر من دقيقة، وإرسال ملاحظات، والحصول على إجابة من دردشة الاجتماع. أما كل ما عدا ذلك، بما فيه الزيارات القصيرة، فيُعد نشاطًا تقنيًا.

بعد ذلك أضاف الفريق مؤشرات DAU وWAU وMAU و«الالتصاق» — أي نسبة DAU إلى MAU. وجاءت الإشارة الأهم من متوسط عدد الإجراءات ذات القيمة لكل مستخدم نشط: بين أبريل وأغسطس ارتفع من 3.4 إلى 6.8، رغم أن حجم الجمهور تضاعف عدة مرات. وهذا يعني أن النمو لم يكن قائمًا على الفضول وحده. وتظل نسبة الزوار الذين ينفذون إجراءً واحدًا على الأقل أعلى من 80%. ويُعد معدل التصاق يتراوح بين 10 و25% طبيعيًا لأداة من هذا النوع: فالناس يعودون بعد الاجتماعات، ولذلك يكون الإيقاع أسبوعيًا أكثر منه يوميًا.

كما استحدث الفريق مؤشرات مضادة: عدد أخطاء التفريغ النصي ونسبة الاستدعاءات غير الناجحة. فمن دونها، لا تعرض لوحة المعلومات سوى صورة مريحة. وفي طبقة التكلفة، يقيس الفريق سعر الطلب، وزمنَي الاستجابة p50 وp95، ومدى التوافر مقارنةً بـ SLO. وتبلغ تكلفة التقرير الواحد أقل من 100 روبل، بينما تستغرق معالجة ساعة من الاجتماع نحو 15 دقيقة.

ما الذي كشفه تحليل التقييمات المنخفضة

تُقيّم جودة التقارير في Langfuse بواسطة نموذج حَكَم مستقل، وفق مقياس من خمس نقاط. وتحصل اجتماعات البحث، التي صُممت بنيتها بالتعاون مع باحثي UX، باستمرار على 4 أو 5 نقاط. أما بقية الاجتماعات فكانت نتائجها أسوأ: من أصل 374 تقريرًا عن اجتماعات عمل بين 3 يوليو و22 سبتمبر، حصل 168 تقريرًا على 3 نقاط أو أقل. وقرأ الفريق يدويًا 56 تقريرًا مع نصوصها المفرّغة، وكتب لكل واحد منها إجابة مرجعية باستخدام نموذج أقوى.

توزعت الأسباب على النحو التالي: موجّه التلخيص، 45%؛ الاجتماع لم يكن «اجتماع عمل» أصلًا — بل عرضًا توضيحيًا أو اجتماع مزامنة للحالة —، 36%؛ رداءة بيانات الإدخال، 12%؛ خطأ الحَكَم نفسه، 7%. وكان الاستنتاج الرئيسي للاجتماع هو أكثر ما يُفقَد — في 28 حالة من أصل 56 —، كما كانت عناصر غير مفيدة مثل «مشاركة الشاشة» تدخل في قائمة المهام، وكانت أقسام التقرير تتناقض بعضها مع بعض.

وظهر أثر لافت عندما شُدّدت القواعد لمنع النموذج من اختلاق التكليفات: بدأ يتخلص من التكليفات الحقيقية أيضًا. فظهرت تقارير تقول «لا توجد مهام نشطة» رغم تحديد موعد نهائي. ومن دون عامل موازن، لا تؤدي قاعدة «الأفضل ألا تكتب شيئًا بدلًا من الاختلاق» إلا إلى نقل الخطأ إلى الجهة المقابلة.

ما الذي يمكن الاستفادة منه

أولًا، اتفقوا مسبقًا على ما يُعد إجراءً مفيدًا لكل منتج. فلا يوجد تعريف موحد للمستخدم النشط: إذا كانت مراجعة الشفرة تُشغّل تلقائيًا، فهل يُعد الشخص الذي لم ينقر على أي شيء مستخدمًا نشطًا؟

ثانيًا، لا تثقوا بمتوسط تقييم حَكَم LLM. اقرأوا بالكامل ما لا يقل عن خمسين من أسوأ الحالات، وصنّفوا أسبابها إلى فئات. فبعض التقييمات «السيئة» سيتضح أنها مشكلة في نوع المستند أو في الحَكَم، لا في الموجّه.

ثالثًا، استخدموا إصدارات للموجّهات واختبروا التعديلات على إجابات مرجعية، وإلا فإن تحسين عيب واحد سيُنشئ عيبًا آخر من دون أن يلاحظه أحد.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول أولًا، مؤشرات الاستخدام؟

بدأ الفريق بعلامة تبويب في لوحة الإدارة تعرض قائمة بمن دخلوا إلى Transkribator. كانت هذه القائمة تُظهر الاهتمام، لكنها لم تكشف ما فعله المستخدم بعد ذلك. ثم أضاف الفريق أعداد الزوار والمستخدمين النشطين والجدد، وعدد المشروعات والملفات المفرّغة نصيًا. وبعدها حدّد «الإجراءات ذات القيمة»: تنزيل مستند، والحصول على نص مفرّغ، ومشاهدة تقرير ذكاء اصطناعي لأكثر من دقيقة، وإرسال ملاحظات، والحصول على إجابة من دردشة الاجتماع. أما كل ما عدا ذلك، بما فيه الزيارات القصيرة، فيُعد نشاطًا تقنيًا.

ما أبرز التفاصيل حول ما الذي كشفه تحليل التقييمات المنخفضة؟

تُقيّم جودة التقارير في Langfuse بواسطة نموذج حَكَم مستقل، وفق مقياس من خمس نقاط. وتحصل اجتماعات البحث، التي صُممت بنيتها بالتعاون مع باحثي UX، باستمرار على 4 أو 5 نقاط. أما بقية الاجتماعات فكانت نتائجها أسوأ: من أصل 374 تقريرًا عن اجتماعات عمل بين 3 يوليو و22 سبتمبر، حصل 168 تقريرًا على 3 نقاط أو أقل. وقرأ الفريق يدويًا 56 تقريرًا مع نصوصها المفرّغة، وكتب لكل واحد منها إجابة مرجعية باستخدام نموذج أقوى.

ما أبرز التفاصيل حول ما الذي يمكن الاستفادة منه؟

أولًا، اتفقوا مسبقًا على ما يُعد إجراءً مفيدًا لكل منتج. فلا يوجد تعريف موحد للمستخدم النشط: إذا كانت مراجعة الشفرة تُشغّل تلقائيًا، فهل يُعد الشخص الذي لم ينقر على أي شيء مستخدمًا نشطًا؟ ثانيًا، لا تثقوا بمتوسط تقييم حَكَم LLM. اقرأوا بالكامل ما لا يقل عن خمسين من أسوأ الحالات، وصنّفوا أسبابها إلى فئات. فبعض التقييمات «السيئة» سيتضح أنها مشكلة في نوع المستند أو في الحَكَم، لا في الموجّه.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…