علّموا نماذج اللغة رؤية كل حرف، فصارت كتابة الكلمات بالمقلوب أسهل عليها

تتكوّن عبارة «LMU München» من 11 رمزًا مع المسافة. أما نموذج اللغة الذي يعمل عليه ChatGPT فيستقبلها على هيئة ثلاث قطع: «LM» و«U» و«München». ولا يرى النموذج الحروف المنفردة في كلمة «München» بشكل مباشر. وتقف هذه الخاصية وراء فئة كاملة من الأخطاء الغريبة: عدّ الحروف في الكلمة، والتعديلات على مستوى الأحرف، والكتابة العكسية. ووفق ما نقلته TechXplore، أظهر الباحثون أنه إذا عُدّل النموذج بحيث يرى كل حرف، يصبح قلب الكلمة وكتابتها بالمعكوس أسهل عليه.

لماذا لا يرى النموذج الحروف

يقسّم النموذج اللغوي الكبير (LLM) النص قبل معالجته إلى توكنات: كلمات كاملة أو أجزاء منها. وتُسمّى هذه الخطوة التوكنة إلى وحدات دون مستوى الكلمة (subword tokenization). والغرض منها الكفاءة: فالتسلسل يصبح أقصر، وبالتالي أرخص من حيث الحوسبة. وتتحول الكلمات الشائعة إلى توكن واحد، بينما تُركَّب الكلمات النادرة من عدة توكنات.

لكن لهذا التوفير ثمنًا. فبالنسبة إلى النموذج يبقى توكن «München» معرّفًا غير قابل للتجزئة. ولكي يعكس هذه الكلمة، عليه أن يعرف الحروف التي تتألف منها، وهو لا يستطيع أن يعرف ذلك مباشرة. ولذلك يضطر إلى استنتاج معرفته بالإملاء بشكل غير مباشر من نصوص التدريب، التي تُفكَّك فيها الكلمات إلى حروف أحيانًا. والنتيجة غير موثوقة. وهكذا يبقى فهم النماذج على مستوى الأحرف محدودًا، وتنص المادة الأصلية على ذلك صراحةً.

ماذا يعني «رؤية كل حرف»

لا يصف الجزء المتاح من المنشور بنية هذا التحديث. كما لا ترد فيه أحجام النماذج ولا الدقة ولا نتائج الاختبارات المعيارية، ولذلك لن نذكر هنا أرقامًا محددة للتحسن. أما المبدأ العام فيتضح من العنوان: يحصل النموذج على وصول إلى الأحرف المنفردة، لا إلى القطع الجاهزة فقط.

وتلجأ الصناعة عادةً إلى نماذج على مستوى الأحرف أو البايتات، أو تضيف مستوى الأحرف فوق التوكنات. لكن لهذا النهج ثمنًا أيضًا: فالتسلسلات تصبح أطول. وتكلفة الانتباه (attention) في المحوّلات (transformers) تنمو بوتيرة أسرع من طول المدخلات. لذلك فالسؤال ليس هل يفيد الوصول إلى الأحرف، فهو يفيد. السؤال هو: كم من الحوسبة سيكلّف ذلك؟

باختصار، هذا ما هو معروف من المادة:

• مثال على التقسيم: تتحول «LMU München» إلى 3 توكنات («LM» و«U» و«München») مقابل 11 رمزًا.
• آلية المشكلة: التوكنة إلى وحدات دون مستوى الكلمة تحجب الحروف المنفردة عن النموذج.
• مهمة الاختبار: كتابة الكلمات بالمعكوس.
• النتيجة: النماذج التي ترى كل حرف تتعامل معها بسهولة أكبر.
• غير مكشوف في النص المتاح: البنية المعمارية، وأحجام النماذج، والمقاييس الرقمية.

ماذا يفعل المطوّرون

ما دامت هذه النماذج لم تصبح معيارًا، فمن الأفضل ألا يُترك التعامل مع العمليات على مستوى الأحرف في المنتجات لنموذج LLM على الثقة وحدها. فالتحقق من الأكواد والأرقام، والكلمات المقلوبة الحروف (anagrams)، والنقحرة، والمقارنة حرفًا بحرف، وتصحيح الأخطاء الإملائية في الأسماء: كل ذلك أكثر موثوقية عند تنفيذه بكود تقليدي. وفي هذه السيناريوهات يُستدعى النموذج بوصفه منسّقًا (orchestrator) يمرّر المهمة إلى أداة، لا بوصفه منفّذًا لها.

ويجب توخي حذر خاص مع اللغات الغنية صرفيًا. فالمجزّئات (tokenizers) في الألمانية والروسية تقطّع الكلمات عادةً أكثر مما تفعل في الإنجليزية، وتظهر أخطاء الأحرف هناك بوتيرة أعلى. وإذا كنتم تختارون نموذجًا لمثل هذا العمل، فاختبروه على بياناتكم الخاصة: اطلبوا منه عكس عشرة من سلاسلكم النصية الفعلية وراقبوا النتيجة.

أما الدراسة نفسها، فالأجدر انتظار نصها الكامل بأرقامه. يبدو الاتجاه معقولًا، لكن السؤال الرئيسي يظل مفتوحًا: هل يكفي المكسب في دقة التعامل مع الأحرف لتبرير ارتفاع تكلفة الحوسبة؟