الضبط الدقيق SFT يضيّق سلوك الذكاء الاصطناعي: دراسة على arXiv حول انهيار التنوع

نشر باحثون في يوليو 2026 على arXiv ورقة بحثية بعنوان «When Reasoning Narrows the Move: Diversity Collapse in LLM Game Play»، بيّنت أن الضبط الدقيق القياسي (SFT) يرفع دقة النماذج اللغوية في الألعاب، لكنه في الوقت نفسه يقلّص تنوّع حركاتها بحدّة، وبدرجة تفوق ما يقتضيه التوازن بين الدقة والتنوع.

ما الذي أظهرته الدراسة

تناولت الورقة، المنشورة على arXiv ضمن الفئة cs.CL وبالمعرّف 2607.19523، تأثير supervised fine-tuning في التنوع السلوكي للنماذج أثناء اتخاذ القرارات المتسلسلة. وبنى المؤلفون مجموعة مضبوطة من ألعاب الطاولة الحتمية القائمة على نسخ مختلفة من لعبة إكس-أو (tic-tac-toe)، تُحسب فيها الحركات المثلى بدقة تامة، ما يتيح قياس تنوّع السلوك مباشرة ودون تقديرات خلافية. وجرى التقييم على ثلاثة مستويات في آن واحد: الحالات المنفردة في اللعبة، والمباريات الفعلية في وضع «الحلبة»، ومسارات التدريب نفسه. وقد أتاح ذلك رصد كيفية تدهور التنوع أثناء الضبط الدقيق ذاته، وليس في النموذج النهائي فحسب.

• المنصة — arXiv، الفئة cs.CL، المعرّف 2607.19523، نوع المنشور «new»
• بيئة الاختبار — ألعاب طاولة حتمية قائمة على لعبة إكس-أو
• الحركات المثلى قابلة للحساب بدقة، لذا يُقاس التنوع مباشرة
• جرى التقييم على ثلاثة مستويات: الحالات المنفردة، والمباريات في «الحلبة»، ومسارات التدريب
• أسلوب التخفيف — action augmentation، أي التدريب على جميع الحركات المثلى للحالة

لماذا يضيّق SFT خيارات النموذج؟

يتسبب SFT القياسي في انهيار مبكر للتنوع: تنكمش سياسة النموذج إلى مجموعة ضيقة من الحركات بوتيرة أسرع مما يبرّره الموازنة بين «الدقة والتنوع». ووفقًا لبيانات الدراسة، فإن وضع الاستدلال خطوة بخطوة (reasoning-mode) يزيد في كثير من الأحيان من قمع تنوّع الحركات، دون أن يحسّن الدقة بصورة متساوية. وثمة نقطة مهمة هنا: فوضع الاستدلال الذي يُعدّ عادةً وسيلة لتحسين القرارات عمل في هذه الحالة ضد التنوع، إذ ضيّق مجموعة الحركات دون مكسب مستقر في الدقة.

ويرى المؤلفون أن السبب هو «المحاكاة ذات الدعم الضيق» (narrow-support imitation): يتعلم النموذج من حركة مثلى واحدة معروضة لكل حالة ويتجاهل بقية الخيارات المكافئة لها. ونتيجة لذلك لا يفقد البدائل فحسب، بل يفقد أيضًا ميله إلى استكشاف فضاء الحلول.

كيف يمكن التخفيف من المشكلة

يعالج أسلوب action augmentation المشكلة جزئيًا، وهو التدريب في وقت واحد على جميع الإجراءات المثلى لكل حالة بدلًا من الحركة الوحيدة المعروضة. وبحسب الملخص، يحافظ هذا الأسلوب على «دعم الإجراءات» (action support) ويُبقي سلوك الاستكشاف لدى النموذج دون الإضرار بالدقة. غير أن الطريقة لا تزيل المشكلة تمامًا؛ فالمؤلفون يصفون التخفيف صراحةً بأنه جزئي، لكنهم يبيّنون أن مجرد اعتماد صيغة تدريب ذات دعم واسع للإجراءات يغيّر سلوك النموذج نحو الأفضل.

«الحفاظ على دعم الإجراءات أثناء SFT مهم للإبقاء على سلوك الاستكشاف»،

كما ورد في ملخص الدراسة على arXiv.

ماذا يعني ذلك

تشير الدراسة إلى كلفة خفية لطريقة ضبط دقيق شائعة: فعند تحسين النموذج من أجل الدقة، قد يسلبه المطوّرون مرونته وميله إلى الاستكشاف دون أن يلاحظوا. وفي المهام التي يهمّ فيها تنوّع الحلول، مثل وكلاء الألعاب والتخطيط والإجراءات متعددة الخطوات، ينصح المؤلفون بالحفاظ على action support منذ مرحلة SFT.

أسئلة شائعة

ما هو انهيار التنوع في النماذج اللغوية؟

انهيار التنوع هو الحالة التي يبدأ فيها النموذج بعد الضبط الدقيق باختيار المجموعة الضيقة نفسها من الإجابات أو الحركات، فيفقد البدائل المكافئة. وفي الدراسة حدث ذلك مع SFT القياسي في وقت أبكر مما يقتضيه التوازن بين الدقة والتنوع.

كيف يساعد action augmentation في الحفاظ على التنوع؟

يدرّب action augmentation النموذج على جميع الحركات المثلى لكل حالة، وليس على حركة واحدة معروضة. ووفقًا لبيانات الدراسة، يخفف ذلك جزئيًا من انهيار التنوع ويحافظ على سلوك الاستكشاف لدى النموذج.