اللوجتات (Logits)
اللوجتات هي درجات القيمة الحقيقية الخام وغير المعايرة التي تُخرجها الطبقة الخطية النهائية للشبكة العصبية قبل تطبيع softmax؛ في نماذج اللغة، يمثل لوجت واحد لكل رمز مفردات الرمز احتمالية توقعها النسبية.
في نماذج اللغة، اللوجتات هي إخراج الطبقة الإسقاط الخطي النهائية، التي تخريط متجه الحالة المخفية للنموذج إلى درجة قيمة حقيقية لكل إدخال في المفردات — عادة 32,000 إلى أكثر من 100,000 رموز للنماذج الحديثة. هذه الدرجات أرقام حقيقية غير محدودة بدون تفسير احتمالي مباشر في العزلة: ما يهم هو أحجامها النسبية. لوجت أعلى يعني أن النموذج يصنف ذلك الرمز فوق البدائل، لكن القيمة المطلقة غير ذات مغزى بدون مقارنة مع بقية متجه المفردات.
لتحويل اللوجتات إلى توزيع احتمالي، يتم تطبيق دالة softmax: كل لوجت يرفع للقوة ويقسم على مجموع جميع القيم المرفوعة للقوة عبر المفردات، ينتج عنه قيم غير سالبة مجموعها 1.0. يرجع المصطلح أصله إلى الإحصائيات، حيث يرمز logit إلى log-odds من احتمالية ثنائية log(p/(1−p))، لكن في تعلم عميق حديث يُستخدم بشكل أوسع نطاقاً ليعني أي درجة قبل softmax في تصنيف أو جيل. كل استراتيجيات أخذ عينات الرموز — تحجيم درجة الحرارة، تصفية top-k، أخذ عينات النواة top-p، عقوبات التكرار، و logit bias — تعمل على هذا المتجه قبل تطبيق softmax، مما يجعل اللوجتات نقطة التحكم المركزية في خط أنابيب الاستدلال.
تهم اللوجتات لأنها الطبقة التي يتدخل الممارسون فيها لتشكيل سلوك النموذج بدون إعادة تدريب. logit bias (إضافة ثابت إلى لوجتات الرموز المحددة) يفرض قيود الإخراج مثل تنسيق JSON أو تقييدات المحتوى. التوجيه الخالي من المصنف في لغة و نماذج الانتشار تمزج متجهات اللوجت الشرطية وغير الشرطية بعامل مقياس التوجيه. فك التشفير المحدد يضع لوجتات للاستمرارات الحالية النحوية إلى ما لا نهاية سالبة، ضمان إخراج منظم صحيح نحوياً. إرجاع log-probabilities (log-softmax اللوجتات) إلى مستهلكي API يمكّن من تسجيل في اتجاه المصب، تقدير عدم اليقين، وإعادة ترتيب الإكمالات المرشحة.
اعتباراً من 2025-2026، عدة واجهات برمجة تطبيقات إنتاجية تكشف معلومات logprob للمطورين: واجهة برمجة تطبيقات OpenAI ترجع top-k log-probabilities لكل رمز عند الطلب، تمكين قياس الثقة و تحليل على مستوى الرموز. البحث في القابلية للتفسير — خاصة عمل الآلية الدقيقة في Anthropic و DeepMind — يستخدم تقنية "logit lens"، التي تُسقط حالات مخفية الطبقة الوسيطة من خلال مصفوفة الإخراج لمراقبة كيف تتطور توقعات الرموز عبر طبقات المحول، معاملة فضاء اللوجت كنافذة تشخيص في حساب النموذج.