متداول يجمع بين RAG وRandomForest لإنتاج إشارات BUY/SELL: دقة 62% عبر 59 سجلًا

يستطيع كثيرون ربط نموذج LLM بتدفق إخباري والحصول على «محلل ذكي». لكن من النادر جدًا أن يعرض أحدهم بصدق ما يحدث بعد ذلك، حين لا يعود المطلوب تلخيص الأخبار بل التنبؤ بالسعر. واصل صاحب المشروع على Habr تجربته مع RAG حتى وصل بها إلى إشارات تداول مصحوبة بتفسيرات. نستعرض هنا ما يستحق الاستفادة منه في هذه التجربة.

خط معالجة بدلًا من ثلاث مهام متنافسة

كان الإصدار الأول من النظام يشغّل بالتوازي ثلاث مهام في الخلفية: التصنيف، واستخراج الكيانات، والإثراء. وكانت كل مهمة تحمّل نموذجها الخاص في ذاكرة GPU، بينما كان Ollama يفرغ الأوزان ويعيد تحميلها باستمرار. وعندما نمت القاعدة من 12 ألفًا إلى 37 ألف مقال، أصبحت التكلفة مرتفعة للغاية.

كان الحل بسيطًا: خط معالجة موحد. تمر المقالة عبر التصنيف، ومرشح الضوضاء، وتقييم التأثير في السوق، وNER، والتلخيص، وإنشاء embedding. وإذا قرر المرشح أن الخبر يتعلق بالرياضة أو الثقافة، يُوسم بالحالة skipped، ولا تُنفق عليه بعد ذلك أي ثانية من وقت GPU. والدرس عام: ابدأ بعملية فرز رخيصة، ثم انتقل إلى النموذج المكلف.

ضُبطت إعدادات Ollama يدويًا أيضًا. سمح الكاتب بالاحتفاظ بنموذجين في الذاكرة، هما Qwen 14B وBGE-M3، وضبط التوازي على 6، وربط كل شيء ببطاقة Tesla P100 واحدة. وعند ضبط القيمة على 8، كانت الذاكرة تبلغ حدها الأقصى وتنتهي مهلة الطلبات. أما البطاقة الثانية فلا تُستخدم عمدًا، لأن توزيع الطبقات بين وحدات GPU يؤدي إلى انخفاض السرعة بمقدار 3–5 مرات بسبب نقل البيانات عبر PCIe.

من الخبر إلى الإشارة

مثال: يعثر NER على «Sber» في النص. ويحوّله قاموس للمرادفات، يجري تحديثه عبر API بورصة موسكو، إلى رمز التداول SBER. ولكل يوم ورمز تداول، تُحسب الخصائص التالية: مجموع اتجاهات الأخبار (+1 للخبر الإيجابي و−1 للخبر السلبي)، وعدد الأخبار، والتقلب خلال 5 و20 يومًا، ومتوسط حجم التداول. بعد ذلك، يصدر RandomForest بمعايرة Platt scaling إشارة BUY أو SELL أو NEUTRAL مع احتمالها، كما يعيد API قائمة بالأخبار التي أثرت في القرار. وفي Streamlit يتحول ذلك إلى منصة تداول تعرض الشموع والأدلة القابلة للتوسيع.

ومن التفاصيل الطريفة أنه أُنشئ رمز وهمي باسم ALFAMOCK لصالح Alfa-Bank، لأنها غير متداولة في البورصة. وهكذا تتراكم الأخبار مسبقًا، وبعد الطرح العام الأولي IPO سيُستبدل الرمز ببساطة.

مواضع انهيار النظام

أكثر ما يميز المقال هو تحليل الإخفاقات. فقد جعلت محاولة إضافة اضمحلال زمني قيمة الخاصية كسرية، 0.85 بدلًا من 1، فانخفضت الدقة من 52% إلى 36%. ومع 55 سجلًا فقط، لا يعد ذلك سوى ضوضاء، لذا أُجلت الفكرة إلى حين توفر أكثر من 200 سجل.

وفي حالة أخرى، حصل VKCO على إشارة BUY بثقة 64% رغم أن الأخبار كانت محايدة. كان النموذج قد تعلم ببساطة أن السوق يرتفع في 55% من الحالات. ورفض الكاتب استخدام مرشح صارم من نوع «لا يوجد ضغط، إذن الإشارة NEUTRAL»، معتبرًا ذلك مجرد إخفاء للعرض. وبدلًا منه، خطط لإضافة خصائص تقيس الهيمنة، ولكن بعد تراكم مزيد من البيانات أيضًا. وقد سُجل الدين التقني ووُثق.

تُجرى عملية التحقق بطريقة walk-forward، إذ تنزلق نافذة التدريب عبر الزمن لتجنب اختيار فترة «موفقة» بالمصادفة. المخطط المستهدف هو 30 يومًا للتدريب و7 أيام للاختبار، لكن المستخدم حاليًا إصدار مختصر 14/3/3. والنتيجة هي متوسط دقة يبلغ 62%، مع وسيط قدره 67%، عبر 45 مثال اختبار.

ما الذي يمكن فعله بهذه النتائج؟

لا ينبغي التعامل مع نسبة 62% بوصفها استراتيجية تداول: فالعينة صغيرة للغاية، ولم تُحتسب العمولات أو الانزلاق السعري، كما يمكن للنموذج أن يتعلم الضوضاء بسهولة. قيمة المشروع تكمن في جانب آخر. فهو يقدم قالبًا معماريًا جيدًا: مرشح مبكر لتوفير موارد GPU، ونتائج قابلة للتفسير ومدعومة بالمصادر، واحتمالات معايرة، وتوثيق صريح للقرارات في ADR. وإذا كنت تبني خط معالجة مشابهًا باستخدام نماذج محلية، فمن المفيد تبني نهج ضبط Ollama وعادة قياس أثر كل خاصية قبل الإبقاء عليها. كود الجزء العام متاح على GitHub.