منحة ياندكس تتحول إلى محرك لنماذج LLM: نموذج 35B على RTX 2080 Ti أسرع بثلاثة أضعاف من llama.cpp
أنفق المؤلف منحة ياندكس البالغة 600 000 روبل على TinyCoder، وهو محرك لتشغيل الشبكات العصبية محليًا كُتب من الصفر بلغتي C++ وCUDA. يبلغ حجم نموذج Ornith-1.5-35B-A3B نحو 34,4 جيجابايت، بينما لا تملك بطاقة RTX 2080 Ti القديمة سوى 11 جيجابايت، لذا يُحمَّل جزء من النموذج تدريجيًا أثناء التشغيل. ومع ذلك يولّد النموذج 53,6 توكن في الثانية مقابل 17,1 في llama.cpp، أي أسرع بثلاثة أضعاف. أما على النماذج الكثيفة الكبيرة فيكاد الفارق يختفي، لذا اختبروا المحرك على مهمتكم الخاصة.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
لا تمنع قوةُ بطاقة الرسوميات تشغيلَ الشبكات العصبية الكبيرة في المنزل، بل ذاكرتُها: فمعظم المطورين يملكون بطاقة بسعة 8–12 جيجابايت، بينما تزن النماذج المثيرة للاهتمام عشرات الجيجابايتات. حصل مطوّر روسي على منحة من ياندكس قدرها 600 000 روبل وأنفقها على TinyCoder، وهو محرك للنماذج المحلية كُتب من الصفر بلغتي C++ وCUDA. والنتيجة تختصرها رقم واحد: يعمل نموذج Ornith-1.5-35B-A3B بحجم 34,4 جيجابايت على RTX 2080 Ti بذاكرة 11 جيجابايت، ويولّد 53,6 توكن في الثانية. والتوكن يعادل تقريبًا كلمة أو جزءًا منها، أي أن الحديث عن سرعة «كتابة» الإجابة. أما محرك llama.cpp الشائع فيعطي في السيناريو نفسه 17,1 توكن في الثانية، أي أقل بثلاثة أضعاف.
من أين جاء المال ولماذا محرك؟
في بداية عام 2026 أطلقت ياندكس منحًا لمشاريع المصدر المفتوح على منصة SourceCraft. قدّم المؤلف مكتبة np، وهي نظير بلغة C++ لمكتبة NumPy يدعم CUDA ويعتمد تحسينات SIMD يدوية (AVX2 وAVX-512 وAMX). وبحسب قياساته، فهي أسرع من الأصل بمقدار 2–20 مرة وتستهلك ذاكرة أقل بمرة ونصف. دخل المشروع قائمة الفائزين، وورد إلى حسابه مبلغ 600 000 روبل.
ثم برز السؤال: فيمَ تُنفق؟ لم يكن لإعادة كتابة NumPy كاملةً معنى، فمهمة التسريع حلّها المؤلف أصلًا. اختار وكيل ذكاء اصطناعي محليًا للبرمجة، ثم ركّز على المحرك الذي يقوم عليه. ورأى المؤلف أن استئجار جهاز افتراضي سحابي بوحدة GPU مكلف جدًا، فعمل على حاسوب منزلي: Intel i7-4790K وذاكرة DDR3 بسعة 32 جيجابايت وبطاقة RTX 2080 Ti بسعة 11 جيجابايت.
كتبت الشبكات العصبية معظم شيفرة المحرك. استخدم المؤلف أولًا DeepSeek V4، ثم DeepSeek V4.1 Flash: فبحسب قوله كانت أرخص وتنتج شيفرة أفضل من gpt-oss-120b أو Qwen3-235B. وحين تعطّلت SourceCraft في 11 أكتوبر 2026 إثر حادثة في مركز بيانات ياندكس، كان في حساب المنحة نحو 200 000 روبل. أصبحت نماذج ياندكس السحابية غير متاحة، فاضطر إلى الانتقال إلى مزوّد خارجي هو DeepSeek. وهذه حجة جيدة لمشروع عن وكيل محلي: ينبغي ألا يعتمد على خدمات الآخرين.
كيف يتسع نموذج بحجم 34 جيجابايت في 11 جيجابايت؟
محرك tinycoder-inference ليس غلافًا فوق ggml أو PyTorch. فلا يحتوي من الشيفرة الخارجية إلا على مكتبة np وcuBLAS لعمليات ضرب المصفوفات الكثيفة. أما نوى فك التكميم وضرب المصفوفات بصيغة int8 وflash attention وأدوات أخذ العينات (sampler) فقد كتبها المؤلف بنفسه. ويقرأ المحرك صيغتي GGUF (تكميمات من Q2_K إلى Q6_K، وسلسلة IQ، وصيغة pq2_0 الثلاثية) وEXL3 مباشرةً، دون تحويل ودون Python عند كل توكن.
تتعلق الحيلة الرئيسية بنماذج Mixture-of-Experts (MoE). يتألف مثل هذا النموذج من عدد كبير من «الخبراء»، لكن جزءًا صغيرًا منهم فقط يعمل عند كل توكن. لذلك يبقى الجزء الكثيف في ذاكرة الفيديو، بينما تُحمَّل الخبراء تباعًا عبر طبقة «ساحة» (arena). تخيّلوا مكتبة بقاعة قراءة صغيرة: الكتب المطلوبة على الطاولة، والباقي يُجلب من المخزن عند الطلب.
كما يعمل مخطِّط السياق وفق الواقع الفعلي: فقبل التحميل يقيس الذاكرة الحرة في VRAM وRAM، ويختار بنفسه دقة KV-cache. وعلى RTX 2080 Ti يتيح ذلك سياقًا يصل إلى 196 352 توكن لنموذج 9B، وإلى 64 256 لنموذج 27B.
ماذا أظهرت القياسات وأين الحد؟
أُجريت القياسات وفق مخطط pp512/tg128: معالجة 512 توكن من الموجّه وتوليد 128 توكن، في ثلاثة أزواج من التشغيلات المتناوبة.
- Qwen2.5-Coder-1.5B بصيغة q2_k: الموجّه 12 240 مقابل 7 679 توكن/ث في llama.cpp، والتوليد 325,9 مقابل 321,6.
- النموذج نفسه بصيغة iq3_xxs: 12 243 مقابل 10 007، والتوليد 273,8 مقابل 262,2.
- Ornith-1.5-35B-A3B في الوضع الهجين: الموجّه 176,3 مقابل 132,2، والتوليد 53,6 مقابل 17,1.
- Bonsai-27B الثلاثي: 880,6 مقابل 878,5 في الموجّه، و51,7 مقابل 50,4 في التوليد، أي تكافؤ شبه تام.
- Qwen3.8-27B بصيغة EXL3 مقابل exllamav3: في الموجّه 727,5 مقابل 719,5، وفي التوليد أبطأ قليلًا: 23,60 مقابل 23,76.
ينبغي قراءة الأرقام بتروٍّ. فهذه قياسات مؤلف واحد على بطاقة واحدة من جيل Turing. أما Ampere (RTX 3090) فلا تزال قيد التنقيح، وتعمل البطاقات الأحدث عبر PTX JIT متوافق أو SASS أساسي. ويظهر المكسب الملحوظ في التكميمات الخفيفة وفي تفريغ نماذج MoE، أما في النماذج الكثيفة الكبيرة فقد تساوى المحرك تقريبًا مع منافسيه.
البوابة والخطط
ولكي يعمل المحرك مع أي وكيل، كتب المؤلف بلغة Go بوابة tinycoder-openai. وهي تدعم /v1/chat/completions و/v1/responses وAnthropic Messages API، إضافةً إلى tool_calls وبثّ SSE. تُحمَّل النماذج عند أول طلب وتُفرَّغ من VRAM بعد انتهاء مهلة، ويمكن مقاطعة التوليد داخل حلقة الطبقات نفسها. يزن الملف التنفيذي 9 ميجابايت، والمكتبة الأصلية 145 ميجابايت. وتشمل الخطط القريبة فك الترميز التخميني (speculative decoding) ونوى مخصصة لبطاقات الرسوميات الحديثة.
الخلاصة العملية: إن كنتم تشغّلون نماذج محلية على بطاقة استهلاكية، وخاصةً نموذج MoE كبيرًا في VRAM صغيرة، فجرّبوا سيناريوكم على TinyCoder وقارنوه بـ llama.cpp. المشروع فتيّ، لكن النتائج على عتاد قديم تُظهر أن ثمة احتياطيًا من السرعة لم يُستثمر بعد.
- 22 نوفمبر 2026ذكاء اصطناعي صوتي بالروسية في 21 ميغابايت: tiny-voca-ru يعمل دون إنترنت على المعالج المركزي
- 21 نوفمبر 2026GigaChat في المرتبة السابعة عالميًا في التصنيف الأعمى بالروسية، لكنه متأخر عن المتصدر بـ78 نقطة Elo
- 21 نوفمبر 2026مشروع MiniMind مفتوح المصدر يتيح تدريب نموذج لغوي من الصفر مقابل 0,42 دولار على RTX 3090
- 21 نوفمبر 2026وكيل Skein يمحو المراحل القديمة من السياق: نجاح 97% من عمليات التشغيل، لكنه أغلى من OpenCode
أسئلة وأجوبة حول الخبر
من أين جاء المال ولماذا محرك؟
في بداية عام 2026 أطلقت ياندكس منحًا لمشاريع المصدر المفتوح على منصة SourceCraft. قدّم المؤلف مكتبة np، وهي نظير بلغة C++ لمكتبة NumPy يدعم CUDA ويعتمد تحسينات SIMD يدوية (AVX2 وAVX-512 وAMX). وبحسب قياساته، فهي أسرع من الأصل بمقدار 2–20 مرة وتستهلك ذاكرة أقل بمرة ونصف. دخل المشروع قائمة الفائزين، وورد إلى حسابه مبلغ 600 000 روبل. ثم برز السؤال: فيمَ تُنفق؟ لم يكن لإعادة كتابة NumPy كاملةً معنى، فمهمة التسريع حلّها المؤلف أصلًا. اختار وكيل ذكاء اصطناعي محليًا للبرمجة، ثم ركّز على المحرك الذي يقوم عليه.
كيف يتسع نموذج بحجم 34 جيجابايت في 11 جيجابايت؟
محرك tinycoder-inference ليس غلافًا فوق ggml أو PyTorch. فلا يحتوي من الشيفرة الخارجية إلا على مكتبة np وcuBLAS لعمليات ضرب المصفوفات الكثيفة. أما نوى فك التكميم وضرب المصفوفات بصيغة int8 وflash attention وأدوات أخذ العينات (sampler) فقد كتبها المؤلف بنفسه. ويقرأ المحرك صيغتي GGUF (تكميمات من Q2_K إلى Q6_K، وسلسلة IQ، وصيغة pq2_0 الثلاثية) وEXL3 مباشرةً، دون تحويل ودون Python عند كل توكن. تتعلق الحيلة الرئيسية بنماذج Mixture-of-Experts (MoE).
ماذا أظهرت القياسات وأين الحد؟
أُجريت القياسات وفق مخطط pp512/tg128: معالجة 512 توكن من الموجّه وتوليد 128 توكن، في ثلاثة أزواج من التشغيلات المتناوبة. Qwen2.5-Coder-1.5B بصيغة q2_k: الموجّه 12 240 مقابل 7 679 توكن/ث في llama.cpp، والتوليد 325,9 مقابل 321,6. النموذج نفسه بصيغة iq3_xxs: 12 243 مقابل 10 007، والتوليد 273,8 مقابل 262,2. Ornith-1.5-35B-A3B في الوضع الهجين: الموجّه 176,3 مقابل 132,2، والتوليد 53,6 مقابل 17,1. Bonsai-27B الثلاثي: 880,6 مقابل 878,5 في الموجّه، و51,7 مقابل 50,4 في التوليد، أي تكافؤ شبه تام.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.