LinkedIn: استخراج المهارات القائم على LLM — 200 تعديل ملف شخصي في الثانية مع نموذج أصغر بنسبة 80% بدون فقدان الجودة

• Extracting skills from content to fuel the LinkedIn Skills Graph — LinkedIn Engineering Blog (Ji Yan et al.), 2023-12-13
• Building and maintaining the skills taxonomy that powers LinkedIn's Skills Graph (39K навыков, 374K алиасов, KGBert) — LinkedIn Engineering Blog (Macskássy et al.), 2023-03-21

السياق

تعيد LinkedIn بشكل منهجي بناء سوق العمل حول المهارات بدلاً من الألقاب والدرجات العلمية: تراهن الشركة على أن نهج المهارات أولاً يفتح مجموعات مرشحين أوسع للمستخدمين وتطور مسارات وظيفية للمحترفين لا يمكن لوحده لقب الوظيفة أن يعكسها. الأساس التقني للاستراتيجية هو Skills Graph: تصنيف للمهارات المرتبطة بالأعضاء والعروض الوظيفية والدورات التدريبية ومحتوى المنصة.

يُوصف نطاق التصنيف في منشور هندسة منفصل (مارس 2023): ما يقرب من 39,000 مهارة، 374,000 اسم مستعار عبر 26 منطقة محلية (تهجيات مختلفة لمهارة واحدة، مثل 'data analysis' و'data analytics')، وأكثر من 200,000 حافة بين العقد؛ منذ فبراير 2021 نما الرسم البياني بنسبة تقارب 35%. تشكل المهارات هرمية متعددة من 'سلالات المعرفة': على سبيل المثال، 'Offshore Construction' يرث من كل من 'Construction' و'Oil and Gas'. يحتفظ التصنيفيون بالرسم البياني بالتزامن مع ML: نموذج KGBert (بناءً على فكرة KG-BERT) يتنبأ بعلاقات المهارات بنسبة تزيد عن 20% بشكل أفضل من النظام السابق بـ F1. بحلول نهاية 2023، تجاوز التصنيف 41,000 مهارة.

لكن الرسم البياني بحد ذاته ليس سوى قاموس. تظهر القيمة عندما يتم وسم كل كيان منصة — الملف الشخصي والعرض الوظيفي والدورة والمنشور — بشكل صحيح بالمهارات من هذا القاموس. في ديسمبر 2023 نشرت فريق LinkedIn AI (رئيس التقنية Ji Yan والمؤلفون المشاركون) دراسة عميقة في خط الإنتاج الذي يستخرج المهارات من جميع محتويات المنصة باستخدام LLM encoders — ضمن قيود الإنتاج الصعبة: تيار عام لتعديلات الملفات الشخصية على بنية CPU، بدون GPUs مكلفة.

المشكلة

المهارات في الملفات الشخصية والعروض الوظيفية والمنشورات نصوص حرة، بعشرات اللغات، وغالباً ما تكون ضمنية: هل 'built ETL pipelines' يعني Spark؟ Airflow؟ SQL؟ المطابقة البسيطة للقاموس تفتقد السياق وتغرق في الكلمات المترادفة، بينما يسمي الناس نفس المهارة بمئات الطرق — وبالتالي 374,000 اسم مستعار في التصنيف.

والنص يجب أن يكون مرتبطاً ليس بالعلامات المجردة بل بعقد محددة في رسم بياني 41,000-مهارة — بما في ذلك الاستدلال الهرمي: 'BERT' على ملف شخصي يقول أيضاً شيئاً ما عن 'NLP' و'Deep Learning'.

النصف الآخر من المشكلة هو قيود الإنتاج. LLMs بالحجم الكامل بطيئة ومكلفة جداً لتيار التعديلات: يتم تعديل ملفات الأعضاء تقريباً 200 مرة في الثانية عالمياً، وكل رسالة يجب معالجتها في أقل من 100 ميلي ثانية — على بنية Samza-BEAM CPU streaming، وليس GPU clusters. تضيف إعادة معالجة دورية غير متصلة بالإنترنت للمجموعة الكاملة — مئات الملايين من الملفات الشخصية والعروض — متطلبات إنتاجيتها الخاصة للخط.

أخيراً، خطأ الاستخراج ليس مقياساً مجرداً: التوصيات الوظيفية والبحث عن الوظائف ومطابقة المرشحين والبحث عن المجندين جميعها تعتمد على وسم المهارات. المهارة المفقودة هي مرشح لم يرَ الوظيفة الصحيحة قط؛ والمهارة الزائفة هي تطبيق غير ذي صلة ووقت مهدر للمجند. تتحول جودة الاستخراج مباشرة إلى قمع التوظيف على كامل المنصة.

الحل

يتكون خط الاستخراج من أربع مراحل متسلسلة. أولاً، التقسيم: يتم تحليل النص غير المنظم (عرض وظيفي، ملف شخصي، سيرة ذاتية) إلى أقسام هيكلية — المتطلبات هنا، المسؤوليات هناك، وصف الشركة في مكان آخر. ثم وسم المهارات عبر مسارين متوازيين: مطابقة القاموس المستندة إلى الرموز مقابل التصنيف والمطابقة الدلالية. يتم التعامل مع الدلالات من خلال نموذج برجين مبني على Multilingual BERT: برج واحد يقوم بترميز الجملة، والآخر مهارة التصنيف، ويتم مطابقة النص بالمهارات في فضاء متجه مشترك — لذا 'built data processing pipelines' يجد 'ETL' بدون تطابق حرفي، بأي لغة مدعومة.

المرحلة الثالثة هي التوسع: بالنسبة للمهارات التي تم العثور عليها، يمشي خط الأنابيب عبر Skills Graph ويضيف عقد مرشحة ذات صلة من الهرمية. المرحلة الأخيرة هي تسجيل المتعدد المجالات: مشفر نصي سياقي قائم على Transformer ومشفر كيان (وحدات مشتركة) بالإضافة إلى أبراج منفصلة لكل نوع محتوى — العروض الوظيفية والملفات الشخصية والتغذية — تسجل ملاءمة كل زوج محتوى-مهارة.

الحركة الرئيسية التي جعلت كل هذا ممكناً في الوقت الفعلي هي تحطير المعرفة: نموذج طالب مضغوط تم تدريبه لإعادة إنتاج سلوك النموذج بالحجم الكامل كان أصغر بنسبة 80% بدون فقدان الأداء. هو هذا النموذج الذي يخدم تيار ~200 تعديل ملف شخصي في الثانية بما يصل إلى 100 ميلي ثانية لكل رسالة — على بنية Samza-BEAM CPU الموجودة، في مخطط هجين: معالجة nearline للتعديلات في الوقت الفعلي بالإضافة إلى وظائف غير متصلة لإعادة معالجة المجموعة الكاملة عند تحديث النماذج أو التصنيف.

حلقة منفصلة هي ردود الفعل من المنتج المدمجة مباشرة في الواجهات: يقوم المجندون بتأكيد المهارات أو تصحيحها عند نشر الوظائف، يقيم الباحثون عن الوظائف ملاءمة المهارات المطابقة عند التقديم، ويعطي الأعضاء ردود فعل بعد LinkedIn Skill Assessments. تعود هذه الإشارات إلى التدريب، مما يغلق دورة تحسين الاستخراج. تغذي المهارات المستخرجة Skills Graph وكل منتج فوقه: التوصيات الوظيفية والبحث عن الوظائف ومطابقة المرشحين. بالنسبة للمستقبل سمت الفريق وصفات مهارات غنية المولدة بـ LLM والانتقال إلى تمثيلات المهارات المستندة بالكامل إلى التضمين للمطابقة الدلالية.

النتيجة

في الإنتاج، يتعامل النظام مع ~200 تعديل ملف شخصي في الثانية بما يصل إلى 100 ميلي ثانية لكل رسالة — على CPU، بفضل نموذج مقطر أصغر بنسبة 80% من الأصلي. في اختبارات A/B عبر الإنترنت، رفع الاستخراج المحسّن للمهارات المقاييس عبر ثلاثة منتجات في آن واحد. مطابقة مهارات العضو الوظيفي: +0.87% التطبيقات المؤهلة، +0.40% معدل التطبيق المؤهل، +0.48% نقرات التطبيق، +0.24% الموظفين المؤكدين المتوقعين. البحث الوظيفي: +0.76% إيرادات PPC، +0.15% الجلسات، +0.23% الانخراط. التوصيات الوظيفية: +0.46% الموظفين المؤكدين المتوقعين و +0.14% التطبيقات.

تحتاج هذه الأرقام إلى تحفظين. أولاً، المقياس: على منصة بمئات الملايين من الأعضاء، فإن كسور النسبة المئوية في قمع التوظيف هي قيم مطلقة ذات معنى وأموال مباشرة (إيرادات PPC). ثانياً، المصدر: جميع النسب المئوية هي اختبارات A/B الداخلية من LinkedIn من مدونة الهندسة، بدون تدقيق خارجي؛ مع ذلك، فإن تفصيل المقياس التفصيلي والموظفين المتوقعين 'الصريحين' (بدلاً من الفعليين) يتحدثان عن اهتمام التقرير.

من وجهة نظرنا، الدرس الهندسي الرئيسي للقضية هو أن 'LLM في الإنتاج' لا يعني تقريباً 'أكبر نموذج في الإنتاج'. صيغة LinkedIn الفعلية: نموذج كبير كمعلم، طالب مقطر في الخدمة، بنية CPU بدلاً من GPU — وذكاء خط الأنابيب يقيم في الاقتران مع رسم بياني معرفي بدلاً من محول عملاق واحد. هذه بنية 'LLM + رسم بياني معرفي' حيث يوفر التصنيف القابلية للتفسير والتحكم بينما توفر الشبكة العصبية فهم السياق؛ ضد الموضة للحلول الشاملة من البداية إلى النهاية، يبدو هذا الهجين محافظاً، لكنه ما يدعم 200 حدث في الثانية على CPU.

ملاحظتنا الثانية تنظيمية: تقرر LinkedIn تأثير خط أنابيب ML في مقاييس المنتج النهائي (التطبيقات والتعيينات والإيرادات)، وليس دقة الاستخراج. هذا نظام: فريق البنية الأساسية الذي يتم قياس نجاحه بمقاييس المنتج للفرق الأخرى يُجبر على بناء حلقات ردود فعل مع تلك المنتجات — وهو ما فعلته LinkedIn من خلال دمج التحقق من صحة المهارات في واجهات المجند والباحثين عن عمل.

الدروس المستفادة

1. LLM الإنتاج لا يعني تقريباً 'أكبر نموذج' بل نموذج مقطر: −80% حجم بدون فقدان جودة جعل الخدمة على CPU ممكنة ضمن ميزانية 100 ميلي ثانية.
2. الهجين 'LLM + رسم بياني معرفي' يتفوق على الشامل من البداية إلى النهاية: يوفر التصنيف القابلية للتفسير والاستدلال الهرمي، والشبكة العصبية توفر فهم السياق والتعددية اللغوية.
3. قم بالإبلاغ عن التأثير في مقاييس المنتج النهائي: تستشهد LinkedIn بالتطبيقات المؤهلة (+0.87%)، وإيرادات PPC (+0.76%)، والموظفين المتوقعين — وليس دقة الاستخراج وحدها.
4. قم ببناء ردود الفعل في المنتج: التحقق من صحة مهارات المجند وردود فعل الباحثين عن عمل ونتائج Skill Assessment تعود إلى التدريب، مما يغلق حلقة الجودة.
5. بنية ذات برجين (النص والتصنيف في فضاء مشترك) تتسع إلى أنواع محتوى جديدة و26 منطقة محلية بدون إعادة تدريب خط الأنابيب بالكامل.
6. على منصات بمئات الملايين من المستخدمين، فإن كسور النسبة المئوية تمثل أموالاً جادة: لا تستخفي بانتصارات A/B 'الصغيرة'.
7. رسم بياني مهارات واحد كطبقة بيانات مشتركة يضاعف قيمة خط أنابيب ML واحد عبر العديد من المنتجات: البحث والتوصيات والمطابقة وأدوات المجند.

الأسئلة الشائعة