Perplexity تنشر محلّل رموز (Tokenizer) للشبكات العصبية أسرع بخمس مرات
نشرت Perplexity الشيفرة المفتوحة لمحلّل الرموز Unigram بعد إعادة كتابته. تعمل الخوارزمية أسرع 5 مرات من محلّلات الرموز (tokenizers) القياسية من Hugging Face، وتخفّض الحمل على المعالج في بيئة الإنتاج بمقدار 5-6x. وهذا أمر حاسم لخدمات الذكاء الاصطناعي، إذ إن كل جزء من الثانية يُوفَّر في عملية التجزئة إلى رموز (tokenization) يعني توفيرًا فعليًا في تكاليف الخوادم. يمكن للشركات تنزيل الشيفرة ودمجها منذ الآن دون تكاليف إضافية.
معالج بواسطة الذكاء الاصطناعي من MarkTechPost؛ بتحرير Hamidun News
نشرت Perplexity AI الشيفرة المفتوحة لمحلّل الرموز Unigram المخصّص للشبكات العصبية. ويُعدّ هذا إنجازًا حقيقيًا من حيث الأداء: فالخوارزمية الجديدة تعمل أسرع بـ5x من النهج التقليدي، ولا تكاد تُحمِّل المعالج.
لماذا نحتاج إلى محلّل رموز سريع؟
يُستدعى محلّل الرموز مئات الملايين من المرات يوميًا على خوادم الإنتاج. وتتراكم التأخيرات هنا لتتحوّل إلى خسائر مالية كبيرة.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.