Liquid AI выпустила энкодеры LFM2.5-Encoder-230M и 350M с контекстом 8K токенов

في 29 يوليو 2026، أصدرت LiquidAI مُرمِّزَين ثنائيَي الاتجاه مفتوحَين (bidirectional encoders) — LFM2.5-Encoder-230M وLFM2.5-Encoder-350M — بسياق يبلغ 8192 رمزًا، يظلان سريعَين على المدخلات الطويلة حتى دون وحدة معالجة رسومية (GPU)، على وحدة معالجة مركزية (CPU) عادية.

ما هذه النماذج

نموذجا LFM2.5-Encoder-230M وLFM2.5-Encoder-350M هما نموذجا لغة مقنّعة (masked language models) مفتوحان، مبنيان على البنية الأساسية الهجينة LFM2 من LiquidAI. تعمل المُرمِّزات (encoders) خلف المصنِّفات، وموجِّهات النوايا، ومرشحات الأمان، وكاشفات البيانات الشخصية (PII). تعمل هذه المهام بشكل مستمر، عادةً دون وحدة معالجة رسومية، وبشكل متزايد على مدخلات طويلة.

• نقطتا تفتيش (checkpoints) — بمعاملات 230M و350M
• سياق يبلغ 8192 رمزًا (token) (حوالي 13-15 صفحة نصية)
• حجم مخفي (hidden size) 1024، ومفردات بحجم 65536 رمزًا، ودعم لـ15 لغة
• ترخيص LFM Open License v1.0، مع منهجية تقييم مفتوحة بموجب Apache-2.0

فئة النماذج هذه حدّدها BERT، ثم رفع ModernBERT مستوى الدقة والسرعة والسياق. وحجة LiquidAI هي أن بنية LFM2 تواصل هذا المسار: إذ تنمو تكلفتها بوتيرة أبطأ مع ازدياد طول المدخل.

كيف تحوّل مفكِّك الترميز إلى مُرمِّز

لم تُدرَّب المُرمِّزات من الصفر — بل هُيِّئت انطلاقًا من البنى الأساسية لمفكِّكي الترميز (decoder) الخاصة بـ LFM2.5-230M وLFM2.5-350M، وحُوِّلت عبر ثلاثة تعديلات. استُبدل قناع الانتباه السببي (causal) بقناع ثنائي الاتجاه، بحيث يرى كل رمز الاتجاهين معًا. كما جُعلت الالتفافات القصيرة (convolutions) في LFM2 غير سببية (non-causal) عبر حشو مركزي متماثل (center-padding). وأُعيد تدريب النموذج بهدف نمذجة اللغة المقنّعة (masked language modeling) بنسبة تقنيع بلغت 30% — أعلى كثافة من نسبة 15% المعتمدة في BERT.

جرى التدريب على مرحلتين. أُرسيت في المرحلة الأولى الكفاءة اللغوية العامة على سياق قصير من 1024 رمزًا باستخدام مجموعة بيانات ويب ضخمة. وفي المرحلة الثانية، وُسِّع السياق إلى 8192 رمزًا على كامل مزيج البيانات، مع تعزيز الكفاءة الواقعية والقانونية ومتعددة اللغات.

مدى قوتها في اختبارات القياس المرجعية

سجّل LFM2.5-Encoder-350M متوسطًا قدره 81.02 (±1.00) على 17 مهمة من GLUE وSuperGLUE والتصنيف متعدد اللغات — وهو المركز الرابع بين 14 نموذجًا. ووفقًا لبيانات LiquidAI، لا يتقدمه سوى نماذج أكبر حجمًا: XLM-R XL بـ3.5 مليار معامل (83.06)، وModernBERT-large بـ395M (81.68)، وXLM-R large بـ560M (81.34). أما النموذج الرائد فهو أكبر بحوالي 10 أضعاف.

سجّل LFM2.5-Encoder-230M درجة 79.29 (±1.02) واحتلّ المركز السادس، متجاوزًا ModernBERT-base (78.19) وجميع نماذج EuroBERT في الجدول، بما فيها EuroBERT-610M (75.87) وEuroBERT-2.1B (72.19).

تجاوز كلا المُرمِّزَين نماذج الاسترجاع (retrieval) الخاصة بـ

LiquidAI نفسها — LFM2.5-ColBERT-350M (76.18) وLFM2.5-Embedding-350M (75.68)؛ وتشير الشركة إلى هذه الفجوة بالتحديد باعتبارها السبب وراء بنائها مُرمِّزًا عامًا منفصلًا بدلًا من إعادة استخدام نماذج الاسترجاع.

— بحسب مواد إصدار LiquidAI

أين تُستخدم

تحدد LiquidAI ثلاثة سيناريوهات. الأول هو الأجهزة الطرفية (edge) والمدمجة: كحاسوب السيارة المدمج أو وحدة تحكم صناعية بلا وحدة معالجة رسومية متاحة، حيث لا يمكن تحمّل تكلفة الاتصال بالسحابة. الثاني هو الأنظمة الخاضعة للتنظيم والمحلية (on-premise) في القطاع المالي والرعاية الصحية والقانون، حيث تكون المستندات طويلة وحساسة ولا يمكنها مغادرة البنية التحتية الداخلية. أما الثالث فهو خطوط المعالجة (pipelines) عالية الحِمل والحساسة للتكلفة، حيث يعمل مُرمِّز صغير كمرشح أولي رخيص قبل نموذج أكبر.

ماذا يعني هذا

تظل المُرمِّزات المفتوحة الصغيرة حصان العمل في معالجة اللغة الطبيعية التطبيقية، لا أثرًا من عصر ما قبل النماذج اللغوية الكبيرة. وتُظهر LiquidAI أنه على سياق طويل ووحدة معالجة مركزية (CPU)، يمكن لنموذج مدمج أن ينافس حلولًا أكبر منه بأضعاف — وهي تفعل ذلك بأوزان مفتوحة ومنهجية قابلة لإعادة الإنتاج.

أسئلة شائعة

ما هو المُرمِّز (encoder) ولماذا هو ضروري؟

يحوّل المُرمِّز النص إلى تمثيلات (representations) تُستخدم في المصنِّفات، وموجِّهات النوايا، ومرشحات الأمان، وكاشفات البيانات الشخصية (PII). تعمل هذه المهام بشكل مستمر وعادةً دون وحدة معالجة رسومية، لذا يكون السعر والسرعة أكثر أهمية من "الإبداع" التوليدي.

بم يختلف LFM2.5-Encoder عن BERT؟

يُبنى LFM2.5-Encoder على البنية الأساسية الهجينة LFM2 (تناوب بين الالتفافات المُبوَّبة (gated convolutions) والانتباه المجمّع للاستعلام (grouped-query attention))، ويحمل سياقًا يبلغ 8192 رمزًا، ويُدرَّب بنسبة تقنيع 30% بدلًا من نسبة 15% المعتمدة في BERT.

بموجب أي ترخيص تتوفر النماذج؟

صدرت الأوزان بموجب ترخيص LFM Open License v1.0، بينما صدرت منهجية التقييم بموجب Apache-2.0. وثُبِّتت نسخة transformers عند الإصدار 4.56.2 حتى لا يؤثر انزياح التبعيات (dependency drift) على قابلية إعادة إنتاج النتائج.