ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارAPI / منتج · جاهز للعملHabr AI→ المصدر

منحة ياندكس تتحول إلى محرك لنماذج LLM: نموذج 35B على RTX 2080 Ti أسرع بثلاثة أضعاف من llama.cpp

أنفق المؤلف منحة ياندكس البالغة 600 000 روبل على TinyCoder، وهو محرك لتشغيل الشبكات العصبية محليًا كُتب من الصفر بلغتي C++ وCUDA. يبلغ حجم نموذج Ornith-1.5-35B-A3B نحو 34,4 جيجابايت، بينما لا تملك بطاقة RTX 2080 Ti القديمة سوى 11 جيجابايت، لذا يُحمَّل جزء من النموذج تدريجيًا أثناء التشغيل. ومع ذلك يولّد النموذج 53,6 توكن في الثانية مقابل 17,1 في llama.cpp، أي أسرع بثلاثة أضعاف. أما على النماذج الكثيفة الكبيرة فيكاد الفارق يختفي، لذا اختبروا المحرك على مهمتكم الخاصة.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
منحة ياندكس تتحول إلى محرك لنماذج LLM: نموذج 35B على RTX 2080 Ti أسرع بثلاثة أضعاف من llama.cpp
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1يقرأ Qwen2.5-Coder-1.5B الموجّه (prompt) بسرعة 12 240 توكن/ث مقابل 7 679
حقيقة رئيسية #2تتسع ذاكرة 11 جيجابايت لسياق من 196 352 توكن لنموذج 9B، و64 256 لنموذج 27B
حقيقة رئيسية #3تفهم بوابة Go واجهتي OpenAI وAnthropic API، فتناسب OpenCode وCline

لا تمنع قوةُ بطاقة الرسوميات تشغيلَ الشبكات العصبية الكبيرة في المنزل، بل ذاكرتُها: فمعظم المطورين يملكون بطاقة بسعة 8–12 جيجابايت، بينما تزن النماذج المثيرة للاهتمام عشرات الجيجابايتات. حصل مطوّر روسي على منحة من ياندكس قدرها 600 000 روبل وأنفقها على TinyCoder، وهو محرك للنماذج المحلية كُتب من الصفر بلغتي C++ وCUDA. والنتيجة تختصرها رقم واحد: يعمل نموذج Ornith-1.5-35B-A3B بحجم 34,4 جيجابايت على RTX 2080 Ti بذاكرة 11 جيجابايت، ويولّد 53,6 توكن في الثانية. والتوكن يعادل تقريبًا كلمة أو جزءًا منها، أي أن الحديث عن سرعة «كتابة» الإجابة. أما محرك llama.cpp الشائع فيعطي في السيناريو نفسه 17,1 توكن في الثانية، أي أقل بثلاثة أضعاف.

من أين جاء المال ولماذا محرك؟

في بداية عام 2026 أطلقت ياندكس منحًا لمشاريع المصدر المفتوح على منصة SourceCraft. قدّم المؤلف مكتبة np، وهي نظير بلغة C++ لمكتبة NumPy يدعم CUDA ويعتمد تحسينات SIMD يدوية (AVX2 وAVX-512 وAMX). وبحسب قياساته، فهي أسرع من الأصل بمقدار 2–20 مرة وتستهلك ذاكرة أقل بمرة ونصف. دخل المشروع قائمة الفائزين، وورد إلى حسابه مبلغ 600 000 روبل.

ثم برز السؤال: فيمَ تُنفق؟ لم يكن لإعادة كتابة NumPy كاملةً معنى، فمهمة التسريع حلّها المؤلف أصلًا. اختار وكيل ذكاء اصطناعي محليًا للبرمجة، ثم ركّز على المحرك الذي يقوم عليه. ورأى المؤلف أن استئجار جهاز افتراضي سحابي بوحدة GPU مكلف جدًا، فعمل على حاسوب منزلي: Intel i7-4790K وذاكرة DDR3 بسعة 32 جيجابايت وبطاقة RTX 2080 Ti بسعة 11 جيجابايت.

كتبت الشبكات العصبية معظم شيفرة المحرك. استخدم المؤلف أولًا DeepSeek V4، ثم DeepSeek V4.1 Flash: فبحسب قوله كانت أرخص وتنتج شيفرة أفضل من gpt-oss-120b أو Qwen3-235B. وحين تعطّلت SourceCraft في 11 أكتوبر 2026 إثر حادثة في مركز بيانات ياندكس، كان في حساب المنحة نحو 200 000 روبل. أصبحت نماذج ياندكس السحابية غير متاحة، فاضطر إلى الانتقال إلى مزوّد خارجي هو DeepSeek. وهذه حجة جيدة لمشروع عن وكيل محلي: ينبغي ألا يعتمد على خدمات الآخرين.

كيف يتسع نموذج بحجم 34 جيجابايت في 11 جيجابايت؟

محرك tinycoder-inference ليس غلافًا فوق ggml أو PyTorch. فلا يحتوي من الشيفرة الخارجية إلا على مكتبة np وcuBLAS لعمليات ضرب المصفوفات الكثيفة. أما نوى فك التكميم وضرب المصفوفات بصيغة int8 وflash attention وأدوات أخذ العينات (sampler) فقد كتبها المؤلف بنفسه. ويقرأ المحرك صيغتي GGUF (تكميمات من Q2_K إلى Q6_K، وسلسلة IQ، وصيغة pq2_0 الثلاثية) وEXL3 مباشرةً، دون تحويل ودون Python عند كل توكن.

تتعلق الحيلة الرئيسية بنماذج Mixture-of-Experts (MoE). يتألف مثل هذا النموذج من عدد كبير من «الخبراء»، لكن جزءًا صغيرًا منهم فقط يعمل عند كل توكن. لذلك يبقى الجزء الكثيف في ذاكرة الفيديو، بينما تُحمَّل الخبراء تباعًا عبر طبقة «ساحة» (arena). تخيّلوا مكتبة بقاعة قراءة صغيرة: الكتب المطلوبة على الطاولة، والباقي يُجلب من المخزن عند الطلب.

كما يعمل مخطِّط السياق وفق الواقع الفعلي: فقبل التحميل يقيس الذاكرة الحرة في VRAM وRAM، ويختار بنفسه دقة KV-cache. وعلى RTX 2080 Ti يتيح ذلك سياقًا يصل إلى 196 352 توكن لنموذج 9B، وإلى 64 256 لنموذج 27B.

ماذا أظهرت القياسات وأين الحد؟

أُجريت القياسات وفق مخطط pp512/tg128: معالجة 512 توكن من الموجّه وتوليد 128 توكن، في ثلاثة أزواج من التشغيلات المتناوبة.

  • Qwen2.5-Coder-1.5B بصيغة q2_k: الموجّه 12 240 مقابل 7 679 توكن/ث في llama.cpp، والتوليد 325,9 مقابل 321,6.
  • النموذج نفسه بصيغة iq3_xxs: 12 243 مقابل 10 007، والتوليد 273,8 مقابل 262,2.
  • Ornith-1.5-35B-A3B في الوضع الهجين: الموجّه 176,3 مقابل 132,2، والتوليد 53,6 مقابل 17,1.
  • Bonsai-27B الثلاثي: 880,6 مقابل 878,5 في الموجّه، و51,7 مقابل 50,4 في التوليد، أي تكافؤ شبه تام.
  • Qwen3.8-27B بصيغة EXL3 مقابل exllamav3: في الموجّه 727,5 مقابل 719,5، وفي التوليد أبطأ قليلًا: 23,60 مقابل 23,76.

ينبغي قراءة الأرقام بتروٍّ. فهذه قياسات مؤلف واحد على بطاقة واحدة من جيل Turing. أما Ampere (RTX 3090) فلا تزال قيد التنقيح، وتعمل البطاقات الأحدث عبر PTX JIT متوافق أو SASS أساسي. ويظهر المكسب الملحوظ في التكميمات الخفيفة وفي تفريغ نماذج MoE، أما في النماذج الكثيفة الكبيرة فقد تساوى المحرك تقريبًا مع منافسيه.

البوابة والخطط

ولكي يعمل المحرك مع أي وكيل، كتب المؤلف بلغة Go بوابة tinycoder-openai. وهي تدعم /v1/chat/completions و/v1/responses وAnthropic Messages API، إضافةً إلى tool_calls وبثّ SSE. تُحمَّل النماذج عند أول طلب وتُفرَّغ من VRAM بعد انتهاء مهلة، ويمكن مقاطعة التوليد داخل حلقة الطبقات نفسها. يزن الملف التنفيذي 9 ميجابايت، والمكتبة الأصلية 145 ميجابايت. وتشمل الخطط القريبة فك الترميز التخميني (speculative decoding) ونوى مخصصة لبطاقات الرسوميات الحديثة.

الخلاصة العملية: إن كنتم تشغّلون نماذج محلية على بطاقة استهلاكية، وخاصةً نموذج MoE كبيرًا في VRAM صغيرة، فجرّبوا سيناريوكم على TinyCoder وقارنوه بـ llama.cpp. المشروع فتيّ، لكن النتائج على عتاد قديم تُظهر أن ثمة احتياطيًا من السرعة لم يُستثمر بعد.

القصة

أسئلة وأجوبة حول الخبر

من أين جاء المال ولماذا محرك؟

في بداية عام 2026 أطلقت ياندكس منحًا لمشاريع المصدر المفتوح على منصة SourceCraft. قدّم المؤلف مكتبة np، وهي نظير بلغة C++ لمكتبة NumPy يدعم CUDA ويعتمد تحسينات SIMD يدوية (AVX2 وAVX-512 وAMX). وبحسب قياساته، فهي أسرع من الأصل بمقدار 2–20 مرة وتستهلك ذاكرة أقل بمرة ونصف. دخل المشروع قائمة الفائزين، وورد إلى حسابه مبلغ 600 000 روبل. ثم برز السؤال: فيمَ تُنفق؟ لم يكن لإعادة كتابة NumPy كاملةً معنى، فمهمة التسريع حلّها المؤلف أصلًا. اختار وكيل ذكاء اصطناعي محليًا للبرمجة، ثم ركّز على المحرك الذي يقوم عليه.

كيف يتسع نموذج بحجم 34 جيجابايت في 11 جيجابايت؟

محرك tinycoder-inference ليس غلافًا فوق ggml أو PyTorch. فلا يحتوي من الشيفرة الخارجية إلا على مكتبة np وcuBLAS لعمليات ضرب المصفوفات الكثيفة. أما نوى فك التكميم وضرب المصفوفات بصيغة int8 وflash attention وأدوات أخذ العينات (sampler) فقد كتبها المؤلف بنفسه. ويقرأ المحرك صيغتي GGUF (تكميمات من Q2_K إلى Q6_K، وسلسلة IQ، وصيغة pq2_0 الثلاثية) وEXL3 مباشرةً، دون تحويل ودون Python عند كل توكن. تتعلق الحيلة الرئيسية بنماذج Mixture-of-Experts (MoE).

ماذا أظهرت القياسات وأين الحد؟

أُجريت القياسات وفق مخطط pp512/tg128: معالجة 512 توكن من الموجّه وتوليد 128 توكن، في ثلاثة أزواج من التشغيلات المتناوبة. Qwen2.5-Coder-1.5B بصيغة q2_k: الموجّه 12 240 مقابل 7 679 توكن/ث في llama.cpp، والتوليد 325,9 مقابل 321,6. النموذج نفسه بصيغة iq3_xxs: 12 243 مقابل 10 007، والتوليد 273,8 مقابل 262,2. Ornith-1.5-35B-A3B في الوضع الهجين: الموجّه 176,3 مقابل 132,2، والتوليد 53,6 مقابل 17,1. Bonsai-27B الثلاثي: 880,6 مقابل 878,5 في الموجّه، و51,7 مقابل 50,4 في التوليد، أي تكافؤ شبه تام.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…