45% من تقارير الذكاء الاصطناعي حصلت على 3 نقاط أو أقل: كيف اكتشفت Atom الأسباب في الموجّهات
في شركة Atom، كان 45% من تقارير الذكاء الاصطناعي الخاصة باجتماعات العمل يحصل على 3 نقاط أو أقل من حَكَم LLM في Langfuse. راجع الفريق يدويًا 56 تقريرًا من هذه التقارير إلى جانب النصوص المفرّغة. واتضح أن الموجّه يتسبب في 45% من الإخفاقات، بينما يعود 36% إضافية إلى عدم ملاءمة نوع الاجتماع. كما دفعت القواعد الصارمة لمكافحة الهلوسة النموذج إلى إسقاط مهام حقيقية.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
عندما اطّلع فريق AI LAB في شركة Atom للمرة الأولى على التقييمات الآلية لتقارير الذكاء الاصطناعي الخاصة باجتماعات العمل، كانت الصورة مقلقة: حصل 45% منها على 3 نقاط أو أقل. ولتحديد ما إذا كانت هذه النسبة مرتفعة بالفعل، كان لا بد أولًا من تعلّم كيفية قياس مَن يستخدم الخدمة فعليًا وما الذي يحصل عليه منها.
أولًا، مؤشرات الاستخدام
بدأ الفريق بعلامة تبويب في لوحة الإدارة تعرض قائمة بمن دخلوا إلى Transkribator. كانت هذه القائمة تُظهر الاهتمام، لكنها لم تكشف ما فعله المستخدم بعد ذلك. ثم أضاف الفريق أعداد الزوار والمستخدمين النشطين والجدد، وعدد المشروعات والملفات المفرّغة نصيًا. وبعدها حدّد «الإجراءات ذات القيمة»: تنزيل مستند، والحصول على نص مفرّغ، ومشاهدة تقرير ذكاء اصطناعي لأكثر من دقيقة، وإرسال ملاحظات، والحصول على إجابة من دردشة الاجتماع. أما كل ما عدا ذلك، بما فيه الزيارات القصيرة، فيُعد نشاطًا تقنيًا.
بعد ذلك أضاف الفريق مؤشرات DAU وWAU وMAU و«الالتصاق» — أي نسبة DAU إلى MAU. وجاءت الإشارة الأهم من متوسط عدد الإجراءات ذات القيمة لكل مستخدم نشط: بين أبريل وأغسطس ارتفع من 3.4 إلى 6.8، رغم أن حجم الجمهور تضاعف عدة مرات. وهذا يعني أن النمو لم يكن قائمًا على الفضول وحده. وتظل نسبة الزوار الذين ينفذون إجراءً واحدًا على الأقل أعلى من 80%. ويُعد معدل التصاق يتراوح بين 10 و25% طبيعيًا لأداة من هذا النوع: فالناس يعودون بعد الاجتماعات، ولذلك يكون الإيقاع أسبوعيًا أكثر منه يوميًا.
كما استحدث الفريق مؤشرات مضادة: عدد أخطاء التفريغ النصي ونسبة الاستدعاءات غير الناجحة. فمن دونها، لا تعرض لوحة المعلومات سوى صورة مريحة. وفي طبقة التكلفة، يقيس الفريق سعر الطلب، وزمنَي الاستجابة p50 وp95، ومدى التوافر مقارنةً بـ SLO. وتبلغ تكلفة التقرير الواحد أقل من 100 روبل، بينما تستغرق معالجة ساعة من الاجتماع نحو 15 دقيقة.
ما الذي كشفه تحليل التقييمات المنخفضة
تُقيّم جودة التقارير في Langfuse بواسطة نموذج حَكَم مستقل، وفق مقياس من خمس نقاط. وتحصل اجتماعات البحث، التي صُممت بنيتها بالتعاون مع باحثي UX، باستمرار على 4 أو 5 نقاط. أما بقية الاجتماعات فكانت نتائجها أسوأ: من أصل 374 تقريرًا عن اجتماعات عمل بين 3 يوليو و22 سبتمبر، حصل 168 تقريرًا على 3 نقاط أو أقل. وقرأ الفريق يدويًا 56 تقريرًا مع نصوصها المفرّغة، وكتب لكل واحد منها إجابة مرجعية باستخدام نموذج أقوى.
توزعت الأسباب على النحو التالي: موجّه التلخيص، 45%؛ الاجتماع لم يكن «اجتماع عمل» أصلًا — بل عرضًا توضيحيًا أو اجتماع مزامنة للحالة —، 36%؛ رداءة بيانات الإدخال، 12%؛ خطأ الحَكَم نفسه، 7%. وكان الاستنتاج الرئيسي للاجتماع هو أكثر ما يُفقَد — في 28 حالة من أصل 56 —، كما كانت عناصر غير مفيدة مثل «مشاركة الشاشة» تدخل في قائمة المهام، وكانت أقسام التقرير تتناقض بعضها مع بعض.
وظهر أثر لافت عندما شُدّدت القواعد لمنع النموذج من اختلاق التكليفات: بدأ يتخلص من التكليفات الحقيقية أيضًا. فظهرت تقارير تقول «لا توجد مهام نشطة» رغم تحديد موعد نهائي. ومن دون عامل موازن، لا تؤدي قاعدة «الأفضل ألا تكتب شيئًا بدلًا من الاختلاق» إلا إلى نقل الخطأ إلى الجهة المقابلة.
ما الذي يمكن الاستفادة منه
أولًا، اتفقوا مسبقًا على ما يُعد إجراءً مفيدًا لكل منتج. فلا يوجد تعريف موحد للمستخدم النشط: إذا كانت مراجعة الشفرة تُشغّل تلقائيًا، فهل يُعد الشخص الذي لم ينقر على أي شيء مستخدمًا نشطًا؟
ثانيًا، لا تثقوا بمتوسط تقييم حَكَم LLM. اقرأوا بالكامل ما لا يقل عن خمسين من أسوأ الحالات، وصنّفوا أسبابها إلى فئات. فبعض التقييمات «السيئة» سيتضح أنها مشكلة في نوع المستند أو في الحَكَم، لا في الموجّه.
ثالثًا، استخدموا إصدارات للموجّهات واختبروا التعديلات على إجابات مرجعية، وإلا فإن تحسين عيب واحد سيُنشئ عيبًا آخر من دون أن يلاحظه أحد.
- 30 أبريل 2026OpenAI تشرح أصل «الغيلان» في GPT-5: كيف تسلّل خلل في الشخصية إلى النموذج
- 17 مايو 2026Anthropic تتجه إلى سوق المستهلكين مع Claude
- 19 يوليو 2026Midjourney vs Nano Banana Pro vs FLUX 2 Max: مقارنة بين نماذج توليد الصور بالذكاء الاصطناعي في 2026
- 9 أكتوبر 2026ارتفعت سعة الشبكات الأساسية للإنترنت بنسبة 23% لتبلغ 2259 تيرابت/ث
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول أولًا، مؤشرات الاستخدام؟
بدأ الفريق بعلامة تبويب في لوحة الإدارة تعرض قائمة بمن دخلوا إلى Transkribator. كانت هذه القائمة تُظهر الاهتمام، لكنها لم تكشف ما فعله المستخدم بعد ذلك. ثم أضاف الفريق أعداد الزوار والمستخدمين النشطين والجدد، وعدد المشروعات والملفات المفرّغة نصيًا. وبعدها حدّد «الإجراءات ذات القيمة»: تنزيل مستند، والحصول على نص مفرّغ، ومشاهدة تقرير ذكاء اصطناعي لأكثر من دقيقة، وإرسال ملاحظات، والحصول على إجابة من دردشة الاجتماع. أما كل ما عدا ذلك، بما فيه الزيارات القصيرة، فيُعد نشاطًا تقنيًا.
ما أبرز التفاصيل حول ما الذي كشفه تحليل التقييمات المنخفضة؟
تُقيّم جودة التقارير في Langfuse بواسطة نموذج حَكَم مستقل، وفق مقياس من خمس نقاط. وتحصل اجتماعات البحث، التي صُممت بنيتها بالتعاون مع باحثي UX، باستمرار على 4 أو 5 نقاط. أما بقية الاجتماعات فكانت نتائجها أسوأ: من أصل 374 تقريرًا عن اجتماعات عمل بين 3 يوليو و22 سبتمبر، حصل 168 تقريرًا على 3 نقاط أو أقل. وقرأ الفريق يدويًا 56 تقريرًا مع نصوصها المفرّغة، وكتب لكل واحد منها إجابة مرجعية باستخدام نموذج أقوى.
ما أبرز التفاصيل حول ما الذي يمكن الاستفادة منه؟
أولًا، اتفقوا مسبقًا على ما يُعد إجراءً مفيدًا لكل منتج. فلا يوجد تعريف موحد للمستخدم النشط: إذا كانت مراجعة الشفرة تُشغّل تلقائيًا، فهل يُعد الشخص الذي لم ينقر على أي شيء مستخدمًا نشطًا؟ ثانيًا، لا تثقوا بمتوسط تقييم حَكَم LLM. اقرأوا بالكامل ما لا يقل عن خمسين من أسوأ الحالات، وصنّفوا أسبابها إلى فئات. فبعض التقييمات «السيئة» سيتضح أنها مشكلة في نوع المستند أو في الحَكَم، لا في الموجّه.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.