Self-Reflective Program Search: Apple تحسّن أداء نماذج LLM مع السياقات الطويلة

نشرت Apple ML Research دراسة تتناول منهج Self-Reflective Program Search في تعامل النماذج اللغوية مع السياقات الطويلة. وتُظهر الدراسة أن تفكيك السياق تعاوديًا إلى استعلامات فرعية يسهل التعامل معها قد يحسّن بشكل ملحوظ كفاءة هذا الجانب البالغ الأهمية في عمل نماذج LLM الحديثة.

لماذا تظل السياقات الطويلة مشكلة؟

أصبحت نوافذ السياق الموسّعة ميزة قياسية في النماذج اللغوية الحديثة: إذ تَعِد Claude وGPT وGemini بمعالجة ما بين 100K و1M توكن. لكن عمليًا، تخفق النماذج في كثير من الأحيان في أداء المهمة حتى مع هذه النوافذ الضخمة. فهي تفقد معلومات من بداية السياق أو نهايته، وتربط التفاصيل بشكل خاطئ، وتُغفل حقائق مهمة أثناء الاستدلال.

وهذه المشكلة معروفة للباحثين والمستخدمين على حد سواء: فقد يرى النموذج النص كله، لكنه لا يعرف كيف يستخرج منه المعلومات المطلوبة بشكل موثوق ويستخدمها في إجابته. وينتج عن ذلك ما يُعرف بتأثير «الضياع في المنتصف» (lost in the middle) وغيره من الآثار السلبية التي تظهر بوضوح خاص في السياقات الطويلة فعلًا.

Recursive Language Models: تفكيك المعقّد إلى بسيط

تقترح Apple حلًا يقوم على فكرة Recursive Language Models (RLMs): فبدلًا من معالجة السياق الطويل دفعة واحدة، يقسّم النموذج المهمة تعاوديًا إلى سلسلة من الاستعلامات الفرعية. ويبدو ذلك أشبه ببرنامج آلي للتفاعل مع السياق، إذ يقرر النموذج بنفسه الاستعلامات الفرعية المطلوبة، وترتيب طرحها، وكيفية جمع نتائجها في الإجابة النهائية.

تقوم الفكرة الأساسية في Self-Reflective Program Search على أن هناك طرقًا كثيرة لتفكيك مهمة معقدة واحدة إلى استعلامات فرعية، وأن النتائج تتفاوت بينها تفاوتًا كبيرًا. وتُظهر دراسة Apple أن بعض طرق التفكيك تعمل أفضل بكثير من غيرها. أما خوارزمية البحث فتعتمد على الانعكاس الذاتي، إذ تحلل نتائج الاستعلامات الفرعية السابقة وتعدّل الاستراتيجية أثناء التنفيذ.

لماذا يعمل البحث التعاودي بشكل أفضل؟

يعالج هذا النهج عدة مشكلات في آن واحد:

• يقلل العبء الإدراكي — يعمل النموذج مع أجزاء أصغر من المعلومات بدلًا من معالجة 100K توكن دفعة واحدة
• يحافظ على المعلومات — التتبع الصريح للاستعلامات الفرعية ونتائجها يقلل فقدان المعلومات الذي يحدث عند المعالجة المباشرة
• يتيح مراجعة القرار — يساعد الانعكاس الذاتي النموذج على تصحيح الأخطاء وتدقيق الإجابة بعد المرور الأول
• يحسّن عملية الاستدلال — لا يهدر النموذج الموارد على حسابات غير ضرورية، بل يوجّه انتباهه إلى الأجزاء ذات الصلة من السياق

وتُظهر دراسة Apple أن هذا النهج فعّال بوجه خاص في السياقات الطويلة (100K+)، حيث تبدأ الطرق التقليدية بالتعثر.

ماذا يعني ذلك؟

تقدّم نتائج Apple ML Research اتجاهًا واعدًا لإصدارات النماذج اللغوية المستقبلية. فبدلًا من السباق نحو نوافذ سياق أكبر فأكبر، يمكن للمطورين الاستثمار في أساليب أذكى للتعامل مع السياقات الطويلة، والحصول على نتائج أفضل في الوقت نفسه. وقد يعني ذلك أننا سنشهد في 2026–2027 نماذج LLM لا ترى كمًا أكبر من المعلومات فحسب، بل تعرف فعلًا كيف تستفيد منها. وبالنسبة للمستخدمين، فهذا يعني إجابات أكثر موثوقية في المهام التي تتطلب تحليل حجم كبير من المعلومات: تلخيص الوثائق الطويلة، والبحث في الأرشيفات، وتحليل الشيفرة البرمجية، والعمل مع الأوراق العلمية.