تنقيح متوازٍ بدلاً من الانتشار: نماذج DRLM تحقق 93.9% في Sudoku-Extreme

طريقة جديدة للاستدلال المتوازي: التوليد والتنقيح بدلاً من الانتشار

قدّم فريق Microsoft Research نماذج Draft Refinement Language Models (DRLM)، وهي مقاربة مبتكرة لنمذجة الاستدلال المعقد. وتختلف هذه الطريقة جذريًا عن النهجين السائدين: فهي لا تتبع منطق التوليد المتتابع رمزًا بعد رمز الذي تعتمده النماذج autoregressive، ولا تتبع منطق المسار العكسي للانتشار. فبدلاً من ذلك، تُولّد نماذج DRLM مسودة كاملة للإجابة دفعة واحدة، ثم تُنقّحها تكراريًا من خلال اقتراح وتقييم تصحيحات متوازية.

والفكرة الجوهرية بسيطة: فالإجابة النهائية هي نتاج تنقيح دوري للكل، لا نتاج مجموعة من الاختيارات الدقيقة المتناهية في كل خطوة. وفي كل تكرار، ينظر النموذج إلى كامل السياق — السؤال الأصلي والمسودة الحالية — في آنٍ واحد، وهذا ما يتيح له اتخاذ قرارات تصحيح أكثر استنادًا إلى المعلومات.

البنية: محوّل تشويش واحد ومقياس cavity-energy

يعتمد DRLM على محوّل تشويش (denoiser) واحد، وهو وحدة مُدرَّبة على استرجاع كل رمز من مسودات تم إفسادها بشكل منتظم. وهذا تدريب ذو غاية مزدوجة: فيتعلّم النموذج كيفية الحفاظ على الرموز الصحيحة وتصحيح الرموز الخاطئة في آنٍ واحد. وتُحدِّد تنبؤات محوّل التشويش مباشرة التصحيحات المقترحة دون إجراء أي تحويل انتشار عكسي — وهذا ما يميّز DRLM جوهريًا عن نماذج discrete diffusion التقليدية.

ويتمثّل الابتكار المحوري في cavity-energy score، وهو مقياس لتقييم جودة المسودة يُحتسب في خطوة أمامية واحدة (forward pass) دون الحاجة إلى نموذج تحقق مستقل. ويقيس cavity-energy مدى دعم السياق المحيط لكل رمز. ويستخدم الباحثون عملية إفساد بيانات معروفة لتصحيح self-token evidence — أي تأثير الرمز نفسه على تقييمه الخاص. وهذا يتيح الحصول على قياس نقي لدعم السياق لكل موضع.

وعملية التنقيح تكرارية بشكل صارم: (1) اقتراح تصحيحات لجميع المواضع بالتوازي بناءً على النسخة الحالية؛ (2) حساب cavity-energy للمرشح المكتمل في سياقه المُنقّح (خطوة أمامية واحدة)؛ (3) الاحتفاظ بالتصحيح فقط إذا كانت قيمة cavity-energy الجديدة أقل من القيمة السابقة.

النتائج على ثلاثة معايير قياسية للاستدلال المعقد

اختبر الباحثون DRLM على ثلاث مهام تتطلب استدلالًا تركيبيًا عميقًا. وأُجريت جميع الاختبارات على نموذج بحجم 6 ملايين معامل:

• Countdown-5: حقق DRLM دقة بلغت 44.4%، أي أعلى بمقدار 34.1 نقطة مئوية من أفضل خط أساس قائم على discrete diffusion (10.3%) • Sudoku-Extreme: حلّ DRLM 93.9% من المهام، متجاوزًا خط الأساس بمقدار 28.4 نقطة (خط الأساس: 65.5%) • Maze-Hard: سجّل DRLM نسبة 73.0%، أي أعلى بمقدار 33.7 نقطة من خط الأساس (خط الأساس: 39.3%)

وتُعد هذه الفروقات البالغة 28 إلى 34 نقطة مئوية تحسّنًا جوهريًا. والمهم هنا أن DRLM لا يتطلب نموذج تقييم منفصل، فيُحسب cavity-energy بالتوازي مع النموذج الأساسي في إطار خطوة أمامية واحدة.

دلالة هذا التطور للمجال

يُمثّل التنقيح الكامل للمسودات بديلاً عمليًا وفعّالًا لكلٍّ من عمليات الانتشار العكسي وفك الترميز autoregressive. وهذا أمر بالغ الأهمية خصوصًا في مهام الاستدلال المعقد، حيث يجب على النموذج تنسيق الاختيارات بين متغيرات متعددة في آنٍ واحد.

ويتيح التنقيح المتوازي للنموذج تقييم المرشحين الكاملين بشكل صريح، واختيار من يحصل منهم على أفضل دعم من السياق — وهو تقييم أكثر دقة للجودة مقارنةً بالاختيار المتتابع لرمز واحد في كل مرة.

المؤلفون: Jaesang Yu، Seoyeon Byun، Yun Wang، Yan Lu، Juho Kim

المؤسسة: Microsoft Research

تاريخ النشر: 19 أكتوبر 2026

حجم النموذج: 6 ملايين معامل