Perplexity AI تنشر معجم رموز أسرع 5 مرات من معيار Hugging Face

أعلنت Perplexity AI عن إطلاق كود مفتوح المصدر لمكون تحويل الرموز (tokenizer) Unigram معاد الكتابة. من حيث الأداء، هذا اختراق حقيقي — الخوارزمية الجديدة تعمل بسرعة تفوق الطريقة التقليدية بـ 5 أضعاف وتثقل المعالج بالكاد.

لماذا التحويل إلى الرموز هو اختناق

محول الرموز (tokenizer) هو الخطوة الأولى في معالجة النصوص لنماذج اللغة. يقسم النص الواردة إلى أجزاء (رموز) يفهمها النموذج. بالنسبة لنموذج مثل GPT، قد يبدو هذا تفصيلاً بسيطاً، لكن في الممارسة العملية، يتم استدعاء محول الرموز مئات الملايين من المرات يومياً على خوادم الإنتاج.

تتراكم الكمون هنا في خسائر مالية جسيمة. إذا كان محول الرموز يعالج طلباً في 50 ميلي ثانية بدلاً من 10، فإن هذا التباطؤ يؤثر على ملايين المستخدمين.

بالنسبة لشركة مثل Perplexity Search، كل ميلي ثانية موفرة في التحويل إلى الرموز هي أموال على الخوادم يمكن إنفاقها على نماذج أقوى أو بنية تحتية.

تتفاقم المشكلة بسبب حقيقة أنه لفترة طويلة كانت محولات الرموز من Hugging Face هي المعيار. تم تطوير هذه المكتبة لمرونة البحث العلمي، وليس لسرعة الإنتاج. يمكن للباحثين تحمل كمون بمقدار 10-50 ميلي ثانية لأنهم يشغلون النماذج على أجهزتهم الخاصة. لكن عندما يخدم النموذج ملايين المستخدمين في السحابة، فإن كل ميلي ثانية مهمة.

ما حققته Perplexity

تُظهر النسخة المعاد كتابتها من Unigram نتائج مذهلة:

• تقليل كمون p50 بمقدار 5 أضعاف — يتم معالجة نصف جميع الطلبات بنسبة 80% أسرع من النسخة القياسية
• تقليل استخدام CPU بمقدار 5-6 أضعاف — يمكن لخادم واحد معالجة 5-6 أضعاف عدد الطلبات باستخدام نفس عدد المعالجات
• توافق 100% — يعمل مع النماذج الموجودة دون إعادة تدريب أو إعادة تأهيل
• مفتوح المصدر — أي شركة يمكنها الحصول عليه وتثبيته والبدء في استخدامه الآن

للسياق: تتراوح تحسينات الأداء النموذجية في الصناعة من 10-30%. هنا نتحدث عن 5 أضعاف. هذا يعني تحولاً أساسياً إلى خوارزمية أو نهج هندسي مختلف لم يكن متاحاً سابقاً كمصدر مفتوح. هذا ليس مجرد تحسين — إنه إعادة تفكير في كيفية كتابة محول رموز للإنتاج.

لماذا يغير هذا القواعد

يظل Hugging Face هو المعيار للبحث العلمي، لكن بالنسبة لأنظمة الإنتاج، يوجد الآن خيار أفضل. Perplexity هي شركة أطلقت محرك بحث خاص بها بناءً على LLMs. لديها خبرة حقيقية في تحسين الأنظمة على نطاق واسع، مع مستخدمين حقيقيين وتكاليف خادم حقيقية. بفتح هذا الكود، لا تساعد Perplexity المنافسين فقط — بل تضع معياراً جديداً لجودة أنظمة LLM الإنتاجية.

في الجزء الذي يتطور بسرعة من صناعة الذكاء الاصطناعي، تنتشر أفضل الأفكار بسرعة، والشركة التي تنشر أولاً مثل هذا التحسين تكسب المصداقية والسمعة.

هذا مؤشر على أن ذكاء الآلات الإنتاجي يصبح أكثر فأكثر صقلاً وجدية وتحسيناً.

ماذا يعني هذا للصناعة

إذا كنت تطور خدمة قائمة على LLM، فهذا الحل ينطبق مباشرة — قم بتثبيت محول الرموز الجديد، ومعالجة النصوص بسرعة أكبر، وتوفير تكاليف الخوادم. إذا كنت مستثمراً أو محللاً، فهذا إشارة إلى أن الهندسة الإنتاجية في الذكاء الاصطناعي تصبح تخصصاً، وليس مجرد هواية. الاختناقات التي كانت تُناقش فقط في الاجتماعات المغلقة للشركة منذ سنة مضت يتم حلها الآن بأكود مفتوح المصدر. توقع أن يصبح هذا في الأشهر القادمة المعيار الفعلي الجديد، وستتحسن أداء أنظمة LLM الإنتاجية بهامش كبير.