T-Tech تبتكر طريقة LIMe: تدريب نموذج لغوي بحوسبة أقل بنسبة 15%
قدّم باحثون من T-Tech في مؤتمر EMNLP 2026 طريقة LIMe. على نموذج يضم نحو مليار معلمة، وصلت الطريقة إلى خطأ التدريب نفسه الذي سجّله نموذج LLaMA الأساسي، لكنها استهلكت حوسبة أقل بنسبة 15%. ولم تتراجع الجودة في المقابل. في المحوّل (Transformer) التقليدي، تعتمد كل طبقة على الحالة المخفية للطبقة السابقة فقط. أما في LIMe (Layer-Integrated Memory) فيحصل كل رأس انتباه على أوزان توجيه قابلة للتعلّم، ويستطيع أن يسحب التمثيلات من الطبقات الأبكر أيضًا ويمزجها. وتؤخذ البيانات من مخازن المفاتيح والقيم (key-value) التي يحتفظ بها النموذج أصلًا لكل طبقة. ولا يزداد حجم الحالة المخفية. • أُجريت التجارب على نماذج بنحو مليار معلمة. • كانت الطريقة أكثر فائدة في المسائل الحسابية الاصطناعية وفي المعماريات ذات العدد الكبير من الطبقات. • نشر المؤلفون التنفيذ الكامل على GitHub.
معالج بواسطة الذكاء الاصطناعي من TG: @data_secrets (Data Secrets)؛ بتحرير Hamidun News
قدّم باحثون من T-Tech في مؤتمر EMNLP 2026 طريقة LIMe، التي تتيح تدريب النماذج اللغوية بحوسبة أقل بنحو 15%. وجاء الرقم من التجربة التالية: بلغ نموذج بنحو مليار معلمة مدرَّب بطريقة LIMe خطأ التدريب نفسه الذي بلغه نموذج LLaMA الأساسي، لكن كلفة الحوسبة كانت أقل بنسبة 15%. ويبيّن خطأ التدريب (training loss) مدى سوء تنبؤ النموذج بالبيانات أثناء التدريب. ولم يتراجع الأداء في الاختبارات المعيارية (benchmarks) مع ذلك. ويُصنَّف EMNLP ضمن المؤتمرات من فئة A*، ويُعقد هذا العام في المجر.
لماذا تتشابه الرموز مع بعضها؟
في المحوّل (Transformer)، تعتمد كل طبقة على الحالة المخفية للطبقة السابقة فقط. والحالة المخفية مجموعة من الأرقام يخزّن فيها النموذج تمثيله الحالي لكل رمز (token). ويجب أن يمر السياق كله عبرها.
ويُظهر المؤلفون أن هذا يخلق ضغطًا باتجاه انهيار التمثيلات. فتصبح الرموز متشابهة أكثر مما ينبغي، وتضيع الفروق بينها، وتضيع معها الجودة.
كيف تعمل LIMe؟
LIMe اختصار لعبارة Layer-Integrated Memory، وهي امتداد خفيف لآلية الانتباه. فالنموذج يحتفظ أصلًا لكل طبقة بمخازن المفاتيح والقيم (key-value): المفاتيح والقيم التي تعمل بها رؤوس الانتباه. وتستخدم LIMe هذه المخازن الجاهزة وتضيف إليها أوزان توجيه قابلة للتعلّم. ولكل رأس ولكل طبقة أوزانه الخاصة.
بفضل هذه الأوزان، يستطيع رأس الانتباه أن يسحب التمثيلات من الطبقة السابقة ومن الطبقات الأبكر أيضًا، وأن يمزجها. ولا يزداد حجم الحالة المخفية في ذلك، بل يُعاد استخدام الحسابات المنجزة سابقًا.
ماذا أظهرت التجارب؟
أُجريت التجارب على نماذج بنحو مليار معلمة. وجاءت النتائج كالتالي:
- خطأ التدريب نفسه الذي سجّله LLaMA الأساسي، بكلفة أقل بنسبة 15%؛
- تفوّقت LIMe على الطرق الأخرى في اختبارات النمذجة اللغوية والاستدلال متعدد الخطوات؛
- تحقق أوضح مكسب في المسائل الحسابية الاصطناعية وفي المعماريات ذات العدد الكبير من الطبقات.
وتحقق المؤلفون من السبب أيضًا. فلدى LIMe إنتروبيا أعلى لمتجهات القيم (value-vectors)، أي أن متجهات القيم تحمل معلومات أكثر تنوعًا، كما أن الرموز أكثر قابلية للفصل. ووفق المؤلفين، فإن المشكلة الرئيسية، وهي انهيار التمثيلات، تتراجع حدتها فعلًا.
ودرس المؤلفون أيضًا أوزان التوجيه التي تعلّمها النموذج. وتُظهر هذه الأوزان أن النموذج يعيد استخدام السمات المحلية والبعيدة معًا بصورة منهجية.
أين يمكن الاطلاع على الطريقة؟
نُشر وصف الطريقة على arXiv (https://arxiv.org/abs/2502.09245). ونشر المؤلفون التنفيذ الكامل على GitHub: https://github.com/corl-team/lime.
أسئلة وأجوبة حول الخبر
لماذا تتشابه الرموز مع بعضها؟
في المحوّل (Transformer)، تعتمد كل طبقة على الحالة المخفية للطبقة السابقة فقط. والحالة المخفية مجموعة من الأرقام يخزّن فيها النموذج تمثيله الحالي لكل رمز (token). ويجب أن يمر السياق كله عبرها. ويُظهر المؤلفون أن هذا يخلق ضغطًا باتجاه انهيار التمثيلات. فتصبح الرموز متشابهة أكثر مما ينبغي، وتضيع الفروق بينها، وتضيع معها الجودة.
كيف تعمل LIMe؟
LIMe اختصار لعبارة Layer-Integrated Memory، وهي امتداد خفيف لآلية الانتباه. فالنموذج يحتفظ أصلًا لكل طبقة بمخازن المفاتيح والقيم (key-value): المفاتيح والقيم التي تعمل بها رؤوس الانتباه. وتستخدم LIMe هذه المخازن الجاهزة وتضيف إليها أوزان توجيه قابلة للتعلّم. ولكل رأس ولكل طبقة أوزانه الخاصة. بفضل هذه الأوزان، يستطيع رأس الانتباه أن يسحب التمثيلات من الطبقة السابقة ومن الطبقات الأبكر أيضًا، وأن يمزجها. ولا يزداد حجم الحالة المخفية في ذلك، بل يُعاد استخدام الحسابات المنجزة سابقًا.
ماذا أظهرت التجارب؟
أُجريت التجارب على نماذج بنحو مليار معلمة. وجاءت النتائج كالتالي: خطأ التدريب نفسه الذي سجّله LLaMA الأساسي، بكلفة أقل بنسبة 15%؛ تفوّقت LIMe على الطرق الأخرى في اختبارات النمذجة اللغوية والاستدلال متعدد الخطوات؛ تحقق أوضح مكسب في المسائل الحسابية الاصطناعية وفي المعماريات ذات العدد الكبير من الطبقات. وتحقق المؤلفون من السبب أيضًا. فلدى LIMe إنتروبيا أعلى لمتجهات القيم (value-vectors)، أي أن متجهات القيم تحمل معلومات أكثر تنوعًا، كما أن الرموز أكثر قابلية للفصل. ووفق المؤلفين، فإن المشكلة الرئيسية، وهي انهيار التمثيلات، تتراجع حدتها فعلًا. ودرس المؤلفون أيضًا أوزان التوجيه
أين يمكن الاطلاع على الطريقة؟
نُشر وصف الطريقة على arXiv (https://arxiv.org/abs/2502.09245). ونشر المؤلفون التنفيذ الكامل على GitHub: https://github.com/corl-team/lime.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.