ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارMarkTechPost→ المصدر

Nous Research تقدّم Lighthouse Attention لتسريع تدريب نماذج LLM

قدّمت Nous Research آلية Lighthouse Attention، وهي آلية انتباه هرمية جديدة تهدف إلى تسريع تدريب النماذج اللغوية الكبيرة تسريعًا ملحوظًا. وعلى نموذج Llama-3 بحجم 530M معامل وسياق يبلغ 98K رمز، حققت الطريقة تسريعًا بمقدار 1.4–1.7 مرة دون خسارة في الجودة. تعمل Lighthouse Attention أثناء التدريب فقط، ثم تتعطل تلقائيًا دون أن تؤثر في النموذج النهائي.

معالج بواسطة الذكاء الاصطناعي من MarkTechPost؛ بتحرير Hamidun News
Nous Research تقدّم Lighthouse Attention لتسريع تدريب نماذج LLM
المصدر: MarkTechPost. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليMarkTechPost ↗
رئيس التحرير
حقيقة رئيسية #1تسريع بمقدار 1.40–1.69 مرة في التدريب من البداية إلى النهاية (end-to-end) مقارنةً بالتنفيذ الأساسي cuDNN SDPA على GPU
حقيقة رئيسية #2خطأ تدريب نهائي (training loss) مماثل أو أقل، ما يضمن عدم وجود خسارة في جودة النموذج ودقته
حقيقة رئيسية #3توافق كامل مع بنية FlashAttention التحتية القائمة ومع أطر العمل القياسية مثل PyTorch

نشرت Nous Research آلية Lighthouse Attention، وهي طريقة جديدة لتحسين تدريب النماذج اللغوية الكبيرة على السياقات الطويلة. تعمل هذه الآلية حصرًا أثناء مرحلة التدريب المسبق، وتتعطل بالكامل بعد انتهائها، ولا تؤثر في بنية النموذج الجاهز ولا في سلوكه في التمرير الأمامي.

كيف تعمل Lighthouse Attention

Lighthouse Attention هي آلية انتباه هرمية انتقائية تغلّف الانتباه القياسي بالضرب النقطي المقيَّس (scaled dot-product attention) أثناء التدريب المسبق للنموذج. عمليًا، يعني ذلك أن النموذج يستخدم في كل مرور عبر طبقة الانتباه آلية انتقائية خاصة بدلًا من الانتباه الكامل إلى جميع الرموز في السياق.

يكمن الفارق الرئيسي عن المقاربات السابقة (مثل NSA وHISA) في التجميع المتماثل (pooling) لجميع مكوّنات آلية الانتباه. فالطرق السابقة كانت تختزل المفاتيح والقيم (K وV) فقط وتتجاهل الاستعلامات، بينما تجمّع Lighthouse الاستعلامات والمفاتيح والقيم (Q وK وV) في آنٍ واحد عبر هرم متعدد المستويات من الدقة. ويتيح ذلك تقليصًا أكثر توازنًا وكفاءة للحسابات على جميع المستويات.

من الناحية التقنية، تخفّض الآلية التعقيد الحسابي لعملية الانتباه من O(N·S·d) إلى O(S²·d)، حيث N هو الطول الكامل للسياق، وS هو حجم المتتالية الفرعية المدمجة المختارة، وd هو بُعد الطبقة المخفية في النموذج. وبعد الانتقاء، يعمل FlashAttention القياسي على هذه المتتالية الفرعية الصغيرة الكثيفة، مما يوفّر بدرجة كبيرة في الموارد الحسابية وفي ذاكرة GPU المطلوبة.

نتائج لافتة

اختبرت Nous Research آلية Lighthouse Attention على نموذج بحجم 530 مليون معامل على طراز Llama-3 وبسياق يبلغ 98 ألف رمز، وهو سياق طويل نسبيًا لأغراض الاختبار. وأظهرت النتائج تحسنًا ملحوظًا ومتسقًا في أداء عملية التدريب:

  • تسريع بمقدار 1.40–1.69 مرة في التدريب من البداية إلى النهاية (end-to-end) مقارنةً بالتنفيذ الأساسي cuDNN SDPA على GPU
  • خطأ تدريب نهائي (training loss) مماثل أو أقل، ما يضمن عدم وجود خسارة في جودة النموذج ودقته
  • توافق كامل مع بنية FlashAttention التحتية القائمة ومع أطر العمل القياسية مثل PyTorch

ويعني ذلك أن بإمكان المؤسسات تدريب النماذج الكبيرة أسرع بنسبة 40–70 في المئة دون المساومة على جودة النتيجة أو دقتها. وبالنسبة إلى النماذج الكبيرة المدرَّبة على مجموعات بيانات ضخمة، يُترجم ذلك إلى توفير أسابيع من وقت الحوسبة على عناقيد GPU مرتفعة التكلفة.

التطبيق العملي وقابلية التوسع

تتمثل الميزة الرئيسية لـ Lighthouse Attention في سهولة اعتمادها وعدم تأثيرها في سلوك النموذج الجاهز. تُستخدم الآلية حصرًا أثناء التدريب المسبق، وتتعطل تلقائيًا بعد انتهاء هذه المرحلة الحاسمة. وهذا يعني أن النموذج المدرَّب باستخدام Lighthouse متوافق تمامًا مع التطبيقات والخدمات وسير العمل القائمة، دون أي تغييرات في الشيفرة أو البنية التحتية أو النشر.

ويحظى التسريع بقيمة خاصة لدى المؤسسات التي تدرّب نماذج كبيرة على سياقات تبلغ عشرات الآلاف ومئاتها من الرموز. ومن الاستخدامات النموذجية: تحليل المستندات والتقارير الطويلة، والبحث في النص الكامل داخل مستودعات المعرفة الكبيرة، وكتابة الشيفرة البرمجية وتحليلها على سياق يتجاوز 100K رمز، ومعالجة المحادثات ذات سجل المراسلات العميق، والعمل مع الأوراق العلمية وبراءات الاختراع. وكل نسبة مئوية من التوفير في الموارد الحسابية تعني توفيرًا فعليًا في الكهرباء ووفورات مالية كبيرة في فواتير الحوسبة السحابية.

الأهمية للبحث العلمي وللصناعة

لا يزال تحسين عملية تدريب المحوّلات (transformers) مجالًا بحثيًا نشطًا وخصبًا، رغم عشرين عامًا من الاستثمار في الآليات الأساسية للبنية. وتُظهر Lighthouse Attention بوضوح أنه حتى في بنى الانتباه المدروسة جيدًا والمصقولة، لا يزال هناك متسع للابتكار والتحسين والتحسينات غير المتوقعة.

وإذا تبنّى المجتمع البحثي مثل هذه الطرق وجرى تطبيقها على نطاق واسع في أطر العمل المفتوحة الشائعة مثل PyTorch وHuggingFace Transformers وغيرها، فقد يؤدي ذلك إلى خفض كبير في حاجز الدخول أمام المؤسسات والشركات الناشئة والمجموعات البحثية التي ترغب في تدريب نماذجها اللغوية الكبيرة الخاصة دون الحاجة إلى موارد حوسبية وميزانيات ضخمة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف تعمل Lighthouse Attention؟

Lighthouse Attention هي آلية انتباه هرمية انتقائية تغلّف الانتباه القياسي بالضرب النقطي المقيَّس (scaled dot-product attention) أثناء التدريب المسبق للنموذج. عمليًا، يعني ذلك أن النموذج يستخدم في كل مرور عبر طبقة الانتباه آلية انتقائية خاصة بدلًا من الانتباه الكامل إلى جميع الرموز في السياق. يكمن الفارق الرئيسي عن المقاربات السابقة (مثل NSA وHISA) في التجميع المتماثل (pooling) لجميع مكوّنات آلية الانتباه.

ما أبرز التفاصيل حول نتائج لافتة؟

اختبرت Nous Research آلية Lighthouse Attention على نموذج بحجم 530 مليون معامل على طراز Llama-3 وبسياق يبلغ 98 ألف رمز، وهو سياق طويل نسبيًا لأغراض الاختبار. وأظهرت النتائج تحسنًا ملحوظًا ومتسقًا في أداء عملية التدريب: تسريع بمقدار 1.40–1.69 مرة في التدريب من البداية إلى النهاية (end-to-end) مقارنةً بالتنفيذ الأساسي cuDNN SDPA على GPU خطأ تدريب نهائي (training loss) مماثل أو أقل، ما يضمن عدم وجود خسارة في جودة النموذج ودقته توافق كامل مع بنية FlashAttention التحتية القائمة ومع أطر العمل القياسية…

ما أبرز التفاصيل حول التطبيق العملي وقابلية التوسع؟

تتمثل الميزة الرئيسية لـ Lighthouse Attention في سهولة اعتمادها وعدم تأثيرها في سلوك النموذج الجاهز. تُستخدم الآلية حصرًا أثناء التدريب المسبق، وتتعطل تلقائيًا بعد انتهاء هذه المرحلة الحاسمة. وهذا يعني أن النموذج المدرَّب باستخدام Lighthouse متوافق تمامًا مع التطبيقات والخدمات وسير العمل القائمة، دون أي تغييرات في الشيفرة أو البنية التحتية أو النشر. ويحظى التسريع بقيمة خاصة لدى المؤسسات التي تدرّب نماذج كبيرة على سياقات تبلغ عشرات الآلاف ومئاتها من الرموز.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…