Jev قبل Claude Sonnet: كيف رفعت إعادة صياغة السؤال مؤشر AUC إلى 0.95

المختبر ومشكلة التحليلات المكلِفة والفارغة

يدير الكاتب خط عمل يُسمّى «المختبر». فكل ما هو مثير للاهتمام خلال اليوم — مقاطع ريلز، منشورات، روابط إلى مستودعات برمجية — يُحفظ في Telegram. ومرة واحدة كل يوم، يجلب سكريبت المواد الجديدة، ويكتب Claude Sonnet لكل مادة تحليلاً-تعليمات. ثم تأتي مرحلة ثانية بدور المحرر لتقرير نشر التحليل أو أرشفته.

والمشكلة أن قسم المفضّلة يحتوي على خليط من أدلة مفيدة ورسائل عمل ومحتوى شخصي وصور بلا كلمة واحدة. وعند تصنيف 67 مادة، تبيّن أن 28 منها زائدة. وكان Sonnet يكتب بأمانة تحليلاً كاملاً لكل مادة من هذا النوع، لكن المحرر كان يستبعده — وهو هدر صريح للوقت وللحصة المتاحة. ويعمل Sonnet عبر اشتراك Claude Code بحصة أسبوعية، لذلك كانت الحاجة إلى مرشّح رخيص لاستبعاد المحتوى الواضح الرداءة قبل الوصول إلى النموذج الكبير.

Jev من TypeSafe: نموذج للأسئلة المغلقة

وكان الحل نموذج Jev، من شركة TypeSafe الناشئة، الصادر في 15 سبتمبر 2026. وهو مصمَّم للأسئلة المغلقة: تُرسل نصاً وقاموس أسئلة، فتحصل لا على فقرة نصية بل على قيم مصحوبة باحتمالات. وتكلفة الإدخال 0.042 دولار لكل مليون رمز، بينما الإخراج مجاني.

ثلاثة أنواع من الأسئلة:

• noul: يُرجع احتمال «نعم» بين 0 و1
• choice: يختار من قائمة مرسَلة (تصل إلى 255 خياراً) ويُرجع احتمال كل خيار إضافة إلى درجة الثقة
• score: يقيّم على مقياس مرتَّب

وتُحسب جميع الأسئلة المتعلقة بنص واحد في عملية واحدة. ووفقاً لقياسات TypeSafe نفسها، تتطابق إجابات Jev مع المعيار المرجعي المستمَد من النماذج الكبيرة في حالتين من كل ثلاث حالات (68%).

وحين حاول الكاتب التسجيل، لم تكن TypeSafe تسجّل مستخدمين جدداً. لكن Jev متوفّر في Cloudflare Workers AI باسم typesafe/jev مع إشارة Zero data retention. ومن خصائصه أن الدفع لا يكون إلا من رصيد مدفوع مسبقاً في AI Gateway، وأن الإجابة تقع في مستوى أعمق من الموصوف في وثائق TypeSafe (result.result.answers).

الدرس الأساسي: الصياغة أهم من النموذج

قبل المختبر، جرّب الكاتب Jev في مهمة أخرى: استبعاد الحقائق من قاعدة معرفة. وكان السؤال الأول عاماً: «هل هذه حقيقة مفيدة؟» وعلى المجموعة المصنَّفة، بلغ AUC 0.46 — أي أسوأ من رمي عملة. ثم أعاد صياغة السؤال ليتضمّن سبباً حقيقياً: «هل يتعلّق هذا بالعالم الحقيقي، لا بتعديل وثيقة أو تفاصيل تقنية». ونفس النموذج ونفس النصوص، لكن AUC ارتفع إلى 0.95. وفي القرارات المرتبطة بالذائقة الشخصية، لم يتجاوز 0.72–0.77 — وهنا لا يصلح Jev إلا كمرشّح أولي حذر.

ونقل الكاتب هذه القاعدة إلى المختبر: ألّا يُسأل النموذج عن «الفائدة» بشكل عام، بل أن تُعدَّد الأسباب الحقيقية التي تجعل مادة ما تنتقل إلى الأرشيف.

مواصفات المختبر: ستة فئات بدل أسئلة غامضة

بدلاً من عدة أسئلة بنعم/لا، يُستخدم سؤال choice واحد، حيث تستبعد الخيارات بعضها بعضاً وتعكس الأسباب الحقيقية للرفض الواردة في سجل المحرر:

• guide: يُعرَض أو يُذكر أداة أو خدمة أو مستودع أو موجِّه (prompt) أو مهارة أو ضبط أو ممارسة عملية محدَّدة يمكن للقارئ إيجادها وتكرارها. وتُحسب حتى لو كانت إعلاناً
• idea: مخطَّط أو إطار عمل أو صيغة أو نموذج متدرّج الخطوات يمكن تفصيله نقطة بنقطة
• no_text: لا يوجد نص أو كلام تقريباً، فقط رابط أو صورة أو لقطة
• owner_work: عمل خاص بصاحب المختبر نفسه، كرسالة لزميل أو مسودة منشور أو رابط لمنتجه الخاص
• personal: محتوى شخصي، غير متعلّق بالعمل مع الذكاء الاصطناعي — كالرياضة أو الأسرة أو الصحة أو الحياة اليومية
• no_method: رأي أو طرح أو إعلان أو خبر بلا أداة أو ممارسة أو مخطَّط

ويُحسَب احتمال «الاحتفاظ» بجمع احتمالي guide و idea. وإذا كان أقل من عتبة 0.2، فلا تصل المادة إلى Sonnet.

أسبوعان من التشغيل الفعلي: 0.0028 دولار ووفْر واحد

من 26 سبتمبر إلى 6 أكتوبر، سجّل السجل 26 استدعاءً. وكلّفت جميعها معاً 0.0028 دولار — أي نحو جزء من مئة من السنت لكل استدعاء، على نصوص يتراوح طولها بين 90 و3100 حرف. ومن موسكو، تستغرق الاستجابة وقتاً أطول من 70–500 مللي ثانية المعلنة (قاست TypeSafe من حواسيب محمولة على الساحل الغربي): الزمن الوسيط 1.3 ثانية، والاستدعاء الأول بين 2 و9 ثوانٍ، والاستدعاءات التالية عادة لا تتجاوز ثانية ونصف.

وفي أول تشغيل فعلي بتاريخ 5 أكتوبر، استبعد Jev مادة واحدة — ملف وسائط بلا نص تقريباً باحتمال 0.01. والوفْر من حيث المال بسيط، لكنه ملحوظ من حيث الحصة: فسابقاً، كانت كل مادة من هذا النوع تستهلك تحليلاً كاملاً من Sonnet ومرحلة من المحرر.

حيث لا يعمل Jev

المهام المفتوحة التي تحتاج إلى شرح بلغة بشرية تبقى من اختصاص النماذج اللغوية الكبيرة. والقرارات المرتبطة بالذائقة الشخصية دون معايير واضحة (وهو ما تؤكده قيم AUC التي حصل عليها الكاتب والبالغة 0.72–0.77). والحسابات والتواريخ والنصوص الطويلة المشوَّشة — فالنموذج يقرأ السؤال حرفياً، ويحسب بشكل سيّئ، ويتخبّط في التواريخ. والبيانات الحساسة — لأن النصوص تنتقل إلى خدمة أمريكية عبر Cloudflare، فما يُرسَل إليها ينبغي أن يُقرَّر مسبقاً.

ويُفيد Jev في الحالات التي يتكرّر فيها تفرّع صغير بعينه مرات كثيرة، وتوجد له معايير واضحة، وتكون تكلفة الخطأ في اتجاه معيّن أقل من اتجاه آخر. وعند الكاتب، هذا هو الاستخدام: الاستبعاد قبل نموذج مكلِف.