طور بناء فلتر بريد عشوائي محلي باستخدام نموذج ruBert-base-antispam بدون VPN

وصف مطور على Habr كيف قام بإنشاء نظام تصفية بريد عشوائي متعدد المستويات بدون VPN، مضيفاً إليه نموذج ruBert-base-antispam محلي من HuggingFace — ضبط دقيق لـ DeepPavlov/rubert-base-cased-conversational مع 177 مليون معامل، مما يتطلب حوالي 550 ميجابايت من ذاكرة الوصول العشوائي.

كيف يتم تنظيم التصفية متعددة المستويات

يتم حظر الإعلانات على نظام المؤلف من خلال خادم DNS مخصص وفلاتر CSS محلية، لكن البريد العشوائي البريدي تطلب معالجة منفصلة. يتم بناء المخطط على عدة مراحل متسلسلة: أولاً يتم التحقق من رسائل البريد الإلكتروني بواسطة الفلاتر المدمجة من Yandex و Mail — فهي تصفي بعض البريد العشوائي قبل إعادة توجيهه إلى صندوق بريد آخر. ما يمر عبرهم يصل إلى خادم المؤلف الخاص، حيث يوجد SpamAssassin ويمسك بمزيد من القمامة.

بعد مستويين، لا تزال بعض رسائل البريد الإلكتروني تتسرب وتصل إلى Gmail: البعض ينتهي به الحال تلقائياً في مجلد "البريد العشوائي"، بينما ينتقل البعض الآخر إلى صندوق الوارد برسالة إخطار مزعجة. كان المؤلف يريد منع تراكم البريد العشوائي في المجلدات بمرور الوقت، مما يجب تنظيفه يدوياً — وكاتبو البريد العشوائي، وفقاً له، لا يجلسون مكتوفي الأيدي ويحدثون باستمرار تقنيات الهروب الخاصة بهم.

لماذا الفلاتر القياسية لم تكن كافية

تسبب مشكلة خاصة بواسطة رسائل البريد الإلكتروني التي ليست رسمياً انتهاكاً: دعوات المؤتمرات وعروض الشراكة ورسائل بطاقات الائتمان. تلتقط مرشحات بايز مثل هذه الرسائل بشكل سيء لأنها تفتقر إلى علامات واضحة من البريد العشوائي الكلاسيكي — فقط الإزعاج والقيمة المنخفضة للمتلقي. كانت هذه المنطقة الرمادية بين "بالتأكيد بريد عشوائي" و"بالتأكيد ليس بريد عشوائي" التي لم تستطع المستويات الثلاثة السابقة من التصفية تغطيتها، وكانت هناك حاجة إلى أداة منفصلة، قادرة على تقييم معنى البريد الإلكتروني، وليس فقط العلامات الرسمية للبريد.

• النموذج — ruBert-base-antispam من HuggingFace، ضبط دقيق لـ DeepPavlov/rubert-base-cased-conversational
• 177 مليون معامل، 12 طبقة محول، حجم مخفي 768
• حد الإدخال — 512 رمز
• استهلاك الذاكرة — حوالي 550 ميجابايت، الاستجابة تستغرق 100-200 ميلي ثانية
• مصنف ثنائي: الإخراج هو فقط 0 أو 1، بدون أوامر أو تفكير

ما النموذج الذي اختاره المؤلف

حل نموذج BERT محلي كلا المشكلتين في آن واحد — تراكم البريد العشوائي والرغبة في عدم الاعتماد على واجهات برمجية سحابية مدفوعة. ruBert-base-antispam هو مصنف ثنائي: يدخل نص البريد الإلكتروني، يخرج 0 أو 1، بدون أوامر أو تفكير كما في نماذج اللغة الكبيرة. تعطي هذه البساطة المعمارية سرعة استجابة من 100-200 ميلي ثانية مع حوالي 550 ميجابايت من الذاكرة — يمكن الاحتفاظ بالنموذج في تشغيل مستمر على خادم منزلي عادي بدون القلق بشأن حمل إضافي.

حد إدخال 512 رمز ليس حرجاً لتصفية البريد العشوائي: لا تحتاج إلى تحليل البريد الإلكتروني بالكامل، الفقرات الأولى كافية لفهم طابعه. في الوقت نفسه، تم تدريب نموذج DeepPavlov/rubert-base-cased-conversational الأساسي، الذي يتم بناء الضبط الدقيق عليه، في الأصل على الروسية المحادثة — يجب أن يساعد هذا في التمييز بشكل أكثر دقة بين المراسلات الحية والرسائل الإعلانية وشبه الإعلانية.

ماذا يعني هذا

تُظهر الحالة أنه بالنسبة للمهام المطبقة الضيقة مثل تصفية البريد العشوائي، لا توجد حاجة لنماذج لغة كبيرة سحابية: نموذج BERT محلي صغير يحتوي على 177 مليون معامل يتعامل بشكل أسرع وأرخص، يعمل بشكل كامل بدون إنترنت وبدون VPN.

الأسئلة الشائعة

ما النموذج الذي يستخدمه المؤلف لتصفية البريد العشوائي؟

إنها ruBert-base-antispam من HuggingFace — ضبط دقيق لـ DeepPavlov/rubert-base-cased-conversational، 177 مليون معامل، 12 طبقة محول وحجم مخفي 768.

كم عدد الموارد التي يتطلبها نموذج محلي؟

يحتاج النموذج إلى حوالي 550 ميجابايت من ذاكرة الوصول العشوائي، والاستجابة لنص واحد تستغرق 100-200 ميلي ثانية؛ الحد الأقصى لطول الإدخال مقتصر على 512 رمز.