Nous Research تقدّم Lighthouse Attention لتسريع تدريب نماذج LLM
قدّمت Nous Research آلية Lighthouse Attention، وهي آلية انتباه هرمية جديدة تهدف إلى تسريع تدريب النماذج اللغوية الكبيرة تسريعًا ملحوظًا. وعلى نموذج Llama-3 بحجم 530M معامل وسياق يبلغ 98K رمز، حققت الطريقة تسريعًا بمقدار 1.4–1.7 مرة دون خسارة في الجودة. تعمل Lighthouse Attention أثناء التدريب فقط، ثم تتعطل تلقائيًا دون أن تؤثر في النموذج النهائي.
معالج بواسطة الذكاء الاصطناعي من MarkTechPost؛ بتحرير Hamidun News
نشرت Nous Research آلية Lighthouse Attention، وهي طريقة جديدة لتحسين تدريب النماذج اللغوية الكبيرة على السياقات الطويلة. تعمل هذه الآلية حصرًا أثناء مرحلة التدريب المسبق، وتتعطل بالكامل بعد انتهائها، ولا تؤثر في بنية النموذج الجاهز ولا في سلوكه في التمرير الأمامي.
كيف تعمل Lighthouse Attention
Lighthouse Attention هي آلية انتباه هرمية انتقائية تغلّف الانتباه القياسي بالضرب النقطي المقيَّس (scaled dot-product attention) أثناء التدريب المسبق للنموذج. عمليًا، يعني ذلك أن النموذج يستخدم في كل مرور عبر طبقة الانتباه آلية انتقائية خاصة بدلًا من الانتباه الكامل إلى جميع الرموز في السياق.
يكمن الفارق الرئيسي عن المقاربات السابقة (مثل NSA وHISA) في التجميع المتماثل (pooling) لجميع مكوّنات آلية الانتباه. فالطرق السابقة كانت تختزل المفاتيح والقيم (K وV) فقط وتتجاهل الاستعلامات، بينما تجمّع Lighthouse الاستعلامات والمفاتيح والقيم (Q وK وV) في آنٍ واحد عبر هرم متعدد المستويات من الدقة. ويتيح ذلك تقليصًا أكثر توازنًا وكفاءة للحسابات على جميع المستويات.
من الناحية التقنية، تخفّض الآلية التعقيد الحسابي لعملية الانتباه من O(N·S·d) إلى O(S²·d)، حيث N هو الطول الكامل للسياق، وS هو حجم المتتالية الفرعية المدمجة المختارة، وd هو بُعد الطبقة المخفية في النموذج. وبعد الانتقاء، يعمل FlashAttention القياسي على هذه المتتالية الفرعية الصغيرة الكثيفة، مما يوفّر بدرجة كبيرة في الموارد الحسابية وفي ذاكرة GPU المطلوبة.
نتائج لافتة
اختبرت Nous Research آلية Lighthouse Attention على نموذج بحجم 530 مليون معامل على طراز Llama-3 وبسياق يبلغ 98 ألف رمز، وهو سياق طويل نسبيًا لأغراض الاختبار. وأظهرت النتائج تحسنًا ملحوظًا ومتسقًا في أداء عملية التدريب:
- تسريع بمقدار 1.40–1.69 مرة في التدريب من البداية إلى النهاية (end-to-end) مقارنةً بالتنفيذ الأساسي cuDNN SDPA على GPU
- خطأ تدريب نهائي (training loss) مماثل أو أقل، ما يضمن عدم وجود خسارة في جودة النموذج ودقته
- توافق كامل مع بنية FlashAttention التحتية القائمة ومع أطر العمل القياسية مثل PyTorch
ويعني ذلك أن بإمكان المؤسسات تدريب النماذج الكبيرة أسرع بنسبة 40–70 في المئة دون المساومة على جودة النتيجة أو دقتها. وبالنسبة إلى النماذج الكبيرة المدرَّبة على مجموعات بيانات ضخمة، يُترجم ذلك إلى توفير أسابيع من وقت الحوسبة على عناقيد GPU مرتفعة التكلفة.
التطبيق العملي وقابلية التوسع
تتمثل الميزة الرئيسية لـ Lighthouse Attention في سهولة اعتمادها وعدم تأثيرها في سلوك النموذج الجاهز. تُستخدم الآلية حصرًا أثناء التدريب المسبق، وتتعطل تلقائيًا بعد انتهاء هذه المرحلة الحاسمة. وهذا يعني أن النموذج المدرَّب باستخدام Lighthouse متوافق تمامًا مع التطبيقات والخدمات وسير العمل القائمة، دون أي تغييرات في الشيفرة أو البنية التحتية أو النشر.
ويحظى التسريع بقيمة خاصة لدى المؤسسات التي تدرّب نماذج كبيرة على سياقات تبلغ عشرات الآلاف ومئاتها من الرموز. ومن الاستخدامات النموذجية: تحليل المستندات والتقارير الطويلة، والبحث في النص الكامل داخل مستودعات المعرفة الكبيرة، وكتابة الشيفرة البرمجية وتحليلها على سياق يتجاوز 100K رمز، ومعالجة المحادثات ذات سجل المراسلات العميق، والعمل مع الأوراق العلمية وبراءات الاختراع. وكل نسبة مئوية من التوفير في الموارد الحسابية تعني توفيرًا فعليًا في الكهرباء ووفورات مالية كبيرة في فواتير الحوسبة السحابية.
الأهمية للبحث العلمي وللصناعة
لا يزال تحسين عملية تدريب المحوّلات (transformers) مجالًا بحثيًا نشطًا وخصبًا، رغم عشرين عامًا من الاستثمار في الآليات الأساسية للبنية. وتُظهر Lighthouse Attention بوضوح أنه حتى في بنى الانتباه المدروسة جيدًا والمصقولة، لا يزال هناك متسع للابتكار والتحسين والتحسينات غير المتوقعة.
وإذا تبنّى المجتمع البحثي مثل هذه الطرق وجرى تطبيقها على نطاق واسع في أطر العمل المفتوحة الشائعة مثل PyTorch وHuggingFace Transformers وغيرها، فقد يؤدي ذلك إلى خفض كبير في حاجز الدخول أمام المؤسسات والشركات الناشئة والمجموعات البحثية التي ترغب في تدريب نماذجها اللغوية الكبيرة الخاصة دون الحاجة إلى موارد حوسبية وميزانيات ضخمة.
- 20 نوفمبر 2026GLM 5.3 المحلي يضاعف سرعة الذكاء الاصطناعي على ESP32-S3 بنسبة 100%، وQwen 3.8 27B بنسبة 30%
- 19 نوفمبر 2026MLPerf Training: عناقيد بحجم 10 240 وحدة GPU وتسريع التدريب بنسبة 49% خلال نصف عام
- 19 نوفمبر 2026SageMaker يوجّه طلبات LLM إلى وحدة GPU التي يتوفر فيها الكاش جاهزًا: أول توكن أسرع بنسبة 97%
- 19 نوفمبر 2026نماذج الذكاء الاصطناعي تدرج مدرسة ضمن قائمة الأهداف العسكرية في 70% من اختبارات Vals AI
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول كيف تعمل Lighthouse Attention؟
Lighthouse Attention هي آلية انتباه هرمية انتقائية تغلّف الانتباه القياسي بالضرب النقطي المقيَّس (scaled dot-product attention) أثناء التدريب المسبق للنموذج. عمليًا، يعني ذلك أن النموذج يستخدم في كل مرور عبر طبقة الانتباه آلية انتقائية خاصة بدلًا من الانتباه الكامل إلى جميع الرموز في السياق. يكمن الفارق الرئيسي عن المقاربات السابقة (مثل NSA وHISA) في التجميع المتماثل (pooling) لجميع مكوّنات آلية الانتباه.
ما أبرز التفاصيل حول نتائج لافتة؟
اختبرت Nous Research آلية Lighthouse Attention على نموذج بحجم 530 مليون معامل على طراز Llama-3 وبسياق يبلغ 98 ألف رمز، وهو سياق طويل نسبيًا لأغراض الاختبار. وأظهرت النتائج تحسنًا ملحوظًا ومتسقًا في أداء عملية التدريب: تسريع بمقدار 1.40–1.69 مرة في التدريب من البداية إلى النهاية (end-to-end) مقارنةً بالتنفيذ الأساسي cuDNN SDPA على GPU خطأ تدريب نهائي (training loss) مماثل أو أقل، ما يضمن عدم وجود خسارة في جودة النموذج ودقته توافق كامل مع بنية FlashAttention التحتية القائمة ومع أطر العمل القياسية…
ما أبرز التفاصيل حول التطبيق العملي وقابلية التوسع؟
تتمثل الميزة الرئيسية لـ Lighthouse Attention في سهولة اعتمادها وعدم تأثيرها في سلوك النموذج الجاهز. تُستخدم الآلية حصرًا أثناء التدريب المسبق، وتتعطل تلقائيًا بعد انتهاء هذه المرحلة الحاسمة. وهذا يعني أن النموذج المدرَّب باستخدام Lighthouse متوافق تمامًا مع التطبيقات والخدمات وسير العمل القائمة، دون أي تغييرات في الشيفرة أو البنية التحتية أو النشر. ويحظى التسريع بقيمة خاصة لدى المؤسسات التي تدرّب نماذج كبيرة على سياقات تبلغ عشرات الآلاف ومئاتها من الرموز.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.