ECHO: تنبؤات متعددة الخطوات بلا وحدات إضافية وبنصف تكلفة MTP
ECHO هو نهج جديد للتدريب المسبق لنماذج اللغة يُدمج التنبؤ متعدد الخطوات مباشرة في هيكل الشبكة. فبدلاً من إضافة وحدات مستقلة لكل أفق تنبؤ، يستخدم ECHO الطبقة النهائية للشبكة الأساسية للتنبؤ بجميع الخطوات المقبلة. هذا يُبسّط البنية جذرياً ويُخفّض تكلفة التدريب إلى النصف مقارنةً بنموذج التنبؤ متعدد الخطوات (MTP) التقليدي. على الصعيد العملي، تُظهر هذه الطريقة أكبر المكاسب في المكان الذي تكون فيه مطلوبة بالضبط — في مهام الاستدلال وتوليد الشيفرة البرمجية. وتتزايد المكاسب مع زيادة عمق التنبؤ، في حين تبدأ الوحدات المساعدة في MTP بالتشبّع. وقد تعلّم النموذج التنبؤ حتى خارج الأفق الذي تم تدريبه عليه، مما ألغى الحاجة إلى مسودات مساعدة بالكامل. • **طبقة نهائية للتنبؤات** — تُنشَر القرارات على جميع الآفاق عبر طبقة واحدة، مما يعزز التواصل المباشر بين الهدف ومعاملات الشبكة • **أخذ عينات ديناميكي للعمق** — يتم اختيار آفاق التدريب بوفق احتمالات تتناقص مع العمق، مما يجعل التدريب العميق متاحاً من حيث التكلفة • **الاستقراء خارج الأفق المدرَّب عليه** — تتنبأ الشبكة إلى ما هو أبعد مما تدربت عليه، فتصبح مولِّد مسوداتها الخاص
معالج بواسطة الذكاء الاصطناعي من Hugging Face Daily Papers؛ بتحرير Hamidun News
ECHO: التنبؤ متعدد الخطوات بلا وحدات مساعدة
طرح باحثون من Baidu (ernie-research) طريقة ECHO، وهي أسلوب لدمج التنبؤ متعدد الخطوات مباشرة في هيكل نموذج اللغة، مما يُزيل الحاجة إلى وحدات مساعدة مستقلة. هذا النهج أقل تكلفة بمقدار النصف مقارنةً بنموذج التنبؤ متعدد الخطوات المعياري (MTP)، ويُظهر مكسباً ملحوظاً في مهام الاستدلال وتوليد الشيفرة البرمجية.
تعمل الأساليب التقليدية للتنبؤ متعدد الخطوات كامتداد للنموذج الأساسي: فكل أفق تنبؤ يحتاج إلى وحدة مستقلة، وكل وحدة تتطلب مرحلة عبور مستقلة عبر الشبكة، وتدريب كل منها مهمة منفصلة بذاتها. يُغيّر ECHO هذا من جذوره: فعِوضاً عن الوحدات المساعدة، تتنبأ الطبقة النهائية للشبكة الأساسية مباشرة بجميع الآفاق.
المكوّنات الثلاثة لـ ECHO
تقوم الطريقة على ثلاث أفكار أساسية:
طبقة نهائية لجميع الآفاق. بدلاً من إلحاق وحدات للتنبؤ بالرموز على مسافة +1، +2، +3 خطوات إلى الأمام، يحوّل ECHO كل هذا المنطق إلى الطبقة النهائية للشبكة الأساسية. فدالة الهدف تؤثر مباشرة على المعاملات التي تُولّد الرمز التالي. والنتيجة: تتزايد المكاسب مع إضافة آفاق جديدة، في حين تكون الوحدات المساعدة قد تشبّعت منذ زمن طويل.
أخذ العينات الديناميكي للعمق (DDS). فرصة التدريب على الأفق +1 أعلى من فرصة التدريب على +2، والتي تكون بدورها أعلى من +3. وهذا يجعل التنبؤ العميق متاحاً من حيث التكلفة، مع الحفاظ على مكاسبه.
الاستقراء خارج الأفق المدرَّب عليه. يتبيّن أن النموذج قادر على التنبؤ إلى ما هو أبعد مما تدرّب عليه. وعند الاستدلال، يسمح له ذلك بأن يصبح مسودته الخاصة لأغراض فك الترميز التخميني (speculative decoding).
النتائج على أربع فئات من المهام
يظهر أكبر مكسب لـ ECHO في الفئات الأساسية: • الاستدلال (reasoning) — الاستنتاجات المنطقية والتحليل متعدد الخطوات • توليد الشيفرة البرمجية — كتابة الأكواد والخوارزميات
وفي الفئات الثانوية، يكون التأثير ملحوظاً لكنه أكثر تواضعاً: • الأسئلة والأجوبة (QA) — الفهم والبحث عن الإجابات • الاختيار من متعدد — الاختيار من بين خيارات مطروحة
وبعد الضبط الدقيق الموجَّه (supervised finetuning)، تنتشر المكاسب إلى الفئات الأربع جميعها. وتُظهر الطريقة ثباتاً: فالميزة تستمر مع مضاعفة موازنة الرموز وعند إعادة تشغيل التدريب المسبق.
النشر في بيئة الإنتاج
تم نشر ECHO في بيئة الإنتاج لدى Baidu على نماذج تبدأ من 200 مليار معامل وما فوق. وعند الاستدلال، يُولّد النموذج مسوداته بنفسه، محافظاً على معدلات قبول مرتفعة حتى عند التنبؤ خارج العمق المدرَّب عليه. وهذا يُلغي الحاجة بالكامل إلى مسودات مساعدة — فالشبكة جاهزة فوراً لفك الترميز التخميني المُسرَّع دون أي تعديلات لاحقة.
- 27 أكتوبر 2026S3AC تعيد الناقد إلى RL لنماذج LLM: مكاسب من 1.5B إلى 397B معامل
- 26 أكتوبر 2026Thinking-in-Bets: الوكلاء يدوّنون ادعاءاتهم قبل النقد ويقلّ تملّقهم
- 25 أكتوبر 2026Anthropic أعادت كتابة اختبارها التوظيفي ثلاث مرات: Claude Opus 4.5 يلحق بأفضل المهندسين
- 25 أكتوبر 2026Harvard وUC Berkeley وNVIDIA تبحث عن Scaling Law للروبوتات: +37,4 نقطة على خمسة اختبارات معيارية
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول المكوّنات الثلاثة لـ ECHO؟
تقوم الطريقة على ثلاث أفكار أساسية: طبقة نهائية لجميع الآفاق. بدلاً من إلحاق وحدات للتنبؤ بالرموز على مسافة +1، +2، +3 خطوات إلى الأمام، يحوّل ECHO كل هذا المنطق إلى الطبقة النهائية للشبكة الأساسية. فدالة الهدف تؤثر مباشرة على المعاملات التي تُولّد الرمز التالي. والنتيجة: تتزايد المكاسب مع إضافة آفاق جديدة، في حين تكون الوحدات المساعدة قد تشبّعت منذ زمن طويل. أخذ العينات الديناميكي للعمق (DDS). فرصة التدريب على الأفق +1 أعلى من فرصة التدريب على +2، والتي تكون بدورها أعلى من +3. وهذا يجعل التنبؤ العميق متاحاً من حيث التكلفة، مع الحفاظ على مكاسبه. الاستقراء خارج الأفق المدرَّ
ما أبرز التفاصيل حول النتائج على أربع فئات من المهام؟
يظهر أكبر مكسب لـ ECHO في الفئات الأساسية: الاستدلال (reasoning) — الاستنتاجات المنطقية والتحليل متعدد الخطوات توليد الشيفرة البرمجية — كتابة الأكواد والخوارزميات وفي الفئات الثانوية، يكون التأثير ملحوظاً لكنه أكثر تواضعاً: الأسئلة والأجوبة (QA) — الفهم والبحث عن الإجابات الاختيار من متعدد — الاختيار من بين خيارات مطروحة وبعد الضبط الدقيق الموجَّه (supervised finetuning)، تنتشر المكاسب إلى الفئات الأربع جميعها. وتُظهر الطريقة ثباتاً: فالميزة تستمر مع مضاعفة موازنة الرموز وعند إعادة تشغيل التدريب المسبق.
ما أبرز التفاصيل حول النشر في بيئة الإنتاج؟
تم نشر ECHO في بيئة الإنتاج لدى Baidu على نماذج تبدأ من 200 مليار معامل وما فوق. وعند الاستدلال، يُولّد النموذج مسوداته بنفسه، محافظاً على معدلات قبول مرتفعة حتى عند التنبؤ خارج العمق المدرَّب عليه. وهذا يُلغي الحاجة بالكامل إلى مسودات مساعدة — فالشبكة جاهزة فوراً لفك الترميز التخميني المُسرَّع دون أي تعديلات لاحقة.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.