MiniJev يقرأ اللوجيتات ويسرّع تصنيف الطلبات بمقدار 5.4 مرة

إذا كان على النموذج أن يختار قسم الدعم، أو يضع تقييماً لدرجة الاستعجال، أو يجيب بـ«نعم» أو «لا»، فهو لا يحتاج إلى إجابة نصية كاملة. لكن خط معالجة LLM المعتاد يُجبره مع ذلك على توليد JSON بالتسلسل: أقواس ومفاتيح وعلامات اقتباس وقيم. كل رمز جديد ينتظر الرمز السابق، مع أن القرار نفسه يكون غالباً ظاهراً بالفعل في توزيع الاحتمالات بعد معالجة الموجّه.

يقترح مؤلف النموذج الأولي MiniJev قراءة هذا القرار مباشرة من اللوجيتات، أي الأرقام التي يحسبها النموذج قبل اختيار الرمز التالي. يشبه هذا النهج واجهة Jev من TypeSafe AI، لكنه لا يحاول إعادة إنتاج النموذج نفسه: فالتجربة تستخدم نموذج Qwen 2.5 1.5B Instruct العادي دون أي ضبط إضافي. ويعمل كل شيء على وحدة Nvidia T4 مجانية في Google Colab.

كيف نحصل على القرار دون توليد نص

لنتخيل الطلب التالي: «خُصم مني المبلغ مرتين، أعيدوا لي إحدى الدفعتين». يطرح النظام على النموذج ثلاثة أسئلة: هل العميل غاضب، وأي قسم يجب أن يتسلم الطلب، وما مدى استعجاله. وتُسرد مسبقاً لكل سؤال خيارات مرمّزة بالأحرف A وB وC وهكذا.

بعد تمريرة واحدة يملك النموذج بالفعل لوجيتات الرمز الأول المحتمل للإجابة. يُبقي MiniJev فقط على لوجيتات الأحرف المسموح بها، ويطبّق softmax ليحصل على توزيع احتمالي. وبالنسبة إلى القسم قد يبدو الأمر هكذا: billing — 99.99%، الدعم الفني — 0.005%، المبيعات — 0.001%. ولا حاجة إلى توليد أي أقواس أو أسماء حقول.

يراعي الكود نقطتين عمليتين. أولاً، قد يرمّز المُجزّئ (tokenizer) الحرف مع مسافة وبدونها بشكل مختلف، ولذلك تُجمع احتمالات الرموز المفردة الصالحة. ثانياً، يفضّل النموذج أحياناً البند الأول أو الأخير بصرف النظر عن المعنى. ولمعالجة هذا الانحياز تُبدَّل مواضع الخيارات دورياً، ثم يُحسب متوسط لوغاريتمات احتمالاتها. والثمن هو موجّهات وحسابات إضافية، خاصة عندما تكثر الخيارات.

السرعة متحققة، أما الاحتمالات الصادقة فليست فورية

على طلب اختباري واحد بلغ الزمن الوسيط لـ MiniJev ما قدره 0.1959 ثانية. أما توليد JSON مكافئ فاستغرق 1.0514 ثانية، أي أكثر بنحو 5.4 مرات. وهذا مؤشر مفيد لكنه ليس نتيجة عامة: فالقياس أُجري على نموذج واحد وبطاقة رسومات واحدة ونوع واحد من الطلبات. كما تعتمد المقارنة على المعالجة بالدفعات (batching) وطول JSON وعدد تبديلات الخيارات.

لا يمكن اعتبار الاحتمالات الخام تلقائياً ثقة حقيقية. فقد دُرّب النموذج على التنبؤ بالرمز التالي، لا على الإبلاغ عن مدى تكرار إصابته. وقد فحص المؤلف المعايرة على 600 مثال من SST-2: استخدم 200 لضبط Platt scaling و400 للاختبار. بقيت الدقة عند 92.7%، بينما انخفض خطأ المعايرة المتوقع من 6.8% إلى 2.5%. النتيجة مشجعة، لكنها تخص مجموعة بيانات واحدة وتقسيماً واحداً.

أين يُطبَّق

يناسب هذا النهج توجيه الطلبات، ورايات الإشراف، وتحديد القصد، واختيار الإجراء التالي للوكيل، والتقييمات على مقياس ثابت. فهو يضمن بقاء الإجابة ضمن القائمة المحددة، لكنه لا يضمن صحتها: إذ يمكن للنموذج أن يختار بثقة بنداً خاطئاً.

الخلاصة العملية بسيطة. إذا كانت مجموعة الإجابات معروفة مسبقاً، فاختبر أولاً قراءة اللوجيتات بدلاً من توليد نص منظَّم. ثم اجمع بضع مئات على الأقل من الأمثلة الموسومة من بيئتك، وعايِر الاحتمالات، وقِس لا زمن الاستجابة فحسب، بل الدقة وECE وتكلفة التبديلات الإضافية. أما الإجابات المفتوحة والتفسيرات المعقدة فهذا الأسلوب لا يناسبها، إذ يظل التوليد ضرورياً فيها.