نموذج رخيص يعمل كمرشّح قبل Claude Sonnet: صياغة السؤال حققت AUC بقيمة 0,95

ما يقارب نصف المواد التي يحفظها المؤلف في Telegram من أجل مدونته لا تحتاجها المدونة. ومع ذلك يكتب Claude Sonnet مرة كل يوم تحليلًا كاملًا لكل مادة منها، فتُهدر الرموز (tokens) بلا فائدة. الحل على طريقة التسلسل الكلاسيكي (cascade): وضع نموذج رخيص أمام النموذج الغالي، يقرر هل يستحق الأمر استدعاء الأخير أصلًا. وقد عرض المؤلف نتائج أول أسبوعين على Habr.

المشكلة والمخطط

الوضع الأولي مألوف لكل من يدير خط إنتاج محتوى (content pipeline) قائمًا على LLM. الحفظ في «الرسائل المحفوظة» سهل، ولذلك يصل إليها كل شيء: أخبار وروابط ومقالات مفيدة وأخرى أقل فائدة. بعد ذلك يتولى Sonnet الأمر ويعدّ تحليلًا لكل مادة. وبعض مواد هذا التدفق لن يصل إلى المدونة بأي حال، ومع ذلك يُدفع ثمن معالجة كل واحدة منها.

وضع المؤلف أمام Sonnet نموذجًا صغيرًا يسميه Jev. هذا النموذج لا يصدر حكم «نأخذ» أو «لا نأخذ»، بل يجيب باحتمالية أن تكون المادة صالحة للمدونة. ويمكن تحريك عتبة الاستبعاد دون المساس بالنموذج نفسه. وفي مهمة تتفاوت فيها كلفة الخطأ، يُعدّ هذا أنسب من الإجابة الثنائية، فتفويت مادة جيدة يكلّف أكثر من تحليل زائد.

السؤال أهم من النموذج

الخلاصة الرئيسية للمنشور أن صياغة السؤال الموجَّه إلى المرشّح أثّرت في النتيجة أكثر من اختيار النموذج نفسه. وفق مقياس AUC، تباعدت صيغتا طرح المهمة إلى 0,46 و0,95.

الرقم الأول أسوأ من رمي قطعة نقد: فقيمة AUC البالغة 0,5 تعني أن النموذج لا يميّز المطلوب من غير المطلوب. أما الرقم الثاني فيقترب من مصنِّف جيد. وقد تحققت هذه الفجوة دون تغيير الأوزان ودون إعادة تدريب، بل بفضل طريقة صياغة السؤال فقط. وبالنسبة لمن يتردد بين «اختيار نموذج أكبر» و«إعادة كتابة الموجّه (prompt)»، فهذه حجة لصالح الخيار الثاني. الأولى قياس AUC على عينة موسومة، ثم تغيير النموذج بعد ذلك فقط.

ما هو معروف من الإعلان

• التدفق الداخل: كل ما يحفظه المؤلف في Telegram.
• النموذج الغالي: Claude Sonnet، بمعدل مرور واحد يوميًا.
• نسبة المواد الزائدة: ما يقارب نصف المواد المحفوظة للمدونة.
• المرشّح: نموذج Jev الرخيص، وإجابته على شكل احتمالية.
• الجودة: AUC بقيمة 0,46 مقابل 0,95 بحسب صياغة السؤال.
• المراقبة: سجل لأسبوعين من التشغيل.
• الحماية: في الكود إجراءات حماية، ويرد وصف بنيتها في المقال الكامل.

أما التفاصيل غير الواردة في الإعلان فهي: الأسعار، والعتبة الدقيقة، وحجم عينة الوسم، ونسبة الرفض الخاطئ. ودونها لا يمكن تقدير التوفير الفعلي، ويلزم الرجوع إلى النص الكامل للتحقق.

ما يمكن الاستفادة منه

يصلح هذا المخطط لأي خط إنتاج يعالج فيه نموذج غالٍ تدفقًا غير متجانس: فرز الطلبات، والإشراف على المحتوى، وتصنيف البلاغات (triage)، وإعداد الملخصات الدورية. وفيما يلي بعض الخطوات العملية المستخلصة من تجربة المؤلف:

1. صنّفوا يدويًا عينة صغيرة على الأقل، واحسبوا AUC قبل التشغيل. دون ذلك سيمرّ الخطأ في الصياغة دون أن يلاحظه أحد. 2. اطلبوا من المرشّح احتمالية لا «نعم» أو «لا». عندها تُضبط العتبة بصورة منفصلة. 3. ضعوا إجراءات حماية: ماذا يحدث إذا كان المرشّح غير متاح، أو أجاب إجابة غريبة، أو استبعد أكثر مما ينبغي. السلوك الآمن الافتراضي أفضل من فقدان المواد بصمت. 4. احتفظوا بسجل لقرارات المرشّح وراجعوا المواد المستبعدة بين حين وآخر. أسبوعان من التسجيل يكشفان ما لا يظهر عند البداية.

لا تتطلب هذه الطريقة نماذج جديدة ولا بنية تحتية جديدة. يكفي استدعاء رخيص قبل الاستدعاء الغالي، مع انضباط في القياس.