LensVLM: شبكة عصبية لقراءة النص على الصور المضغوطة

طوّر باحثو Apple شبكة عصبية باسم LensVLM تتعلم قراءة النص بموثوقية على الصور شديدة الضغط، وتعالج بذلك مشكلة تناول المستندات الطويلة عبر القناة البصرية.

لماذا يُعد تحويل النص إلى صورة نهجًا واعدًا

تستطيع نماذج الرؤية واللغة (VLM) الحديثة إدراك النص مباشرة بوصفه صورة مُصيَّرة، لا عبر التجزئة إلى رموز (tokenization)؛ أي إنها «ترى» المكتوب حرفيًا. ويختلف هذا اختلافًا جوهريًا عن طريقة عمل النماذج اللغوية التقليدية.

ففي النهج الكلاسيكي يتحول كل حرف أو جزء من كلمة إلى رمز رقمي، فتنتج عن المستند الطويل سلسلة طويلة من الرموز. ويرهق ذلك الذاكرة ويحدّ من نافذة السياق. أما المشفّرات البصرية في نماذج VLM فتعمل بطريقة مختلفة: فهي تنتج دائمًا عددًا ثابتًا من الرموز من الصورة، بصرف النظر عن كمية النص الموجودة عليها.

ومن هنا تنشأ فكرة مغرية: بخفض دقة التصيير يمكن وضع نص أكثر ضمن «ميزانية الرموز» نفسها. وبهذا تصبح الدقة أداة مرنة لضبط درجة الضغط. وفي معالجة الكتب وتقارير PDF والمستندات الطويلة، يُحتمل أن يكون هذا النهج أكثر توفيرًا بكثير من التجزئة القياسية إلى رموز.

لماذا يُفسد الضغط العالي الدقة؟

عند الضغط الشديد تنخفض دقة نماذج VLM انخفاضًا حادًا. والسبب ميكانيكي: تتقلص الأحرف على الصورة إلى أحجام أدنى من الدقة الفعالة للمشفّر البصري. فتندمج الحروف وتصبح غير قابلة للتمييز، ويفقد النموذج قدرته على قراءة النص، حتى لو كان «يرى» الصورة من الناحية التقنية.

وينتج عن ذلك مفاضلة غير مرغوبة: كلما زاد الضغط، اتسع ما يستوعبه السياق من نص، لكن ازداد ضعف فهم النموذج له. وقد ظل هذا الحاجز حتى الآن يقيّد التطبيق العملي للنهج البصري على المستندات الطويلة.

كيف يحل LensVLM هذه المشكلة؟

الفكرة المحورية لدى Apple ML Research هي آلية التوسيع الانتقائي للسياق (selective context expansion). فبدلًا من معالجة الصورة كلها بالتساوي، يتعلم النموذج مسحها بصورة تكيفية، فيمنح مزيدًا من الاهتمام للمناطق ذات النص الكثيف أو الصغير.

ويشير اسم LensVLM إلى استعارة العدسة البصرية: فكما تركّز العدسة على التفصيل المطلوب وتتجاهل ما سواه، «يضبط» النموذج الوضوح على المقاطع الحرجة. وبفضل ذلك تبقى درجة الضغط الإجمالية عالية، بينما ترتفع الدقة المحلية فقط حيث تكون ضرورية فعلًا.

ويتألف الإطار من مكونين متكاملين:

• إطار الاستدلال (Inference) — يحدد كيف يتصفح النموذج الصورة عند الاستدلال: متى يزيد الانتباه إلى منطقة بعينها وبأي قدر
• وصفة ما بعد التدريب (post-training recipe) — تكيّف نماذج VLM الموجودة أصلًا مع العمل على التمثيلات المضغوطة للنص، دون الحاجة إلى التدريب من الصفر

ويجعل هذا النهج LensVLM عمليًا: إذ يمكن دمجه في النماذج القائمة دون الحاجة إلى تطوير بنية جديدة من الصفر.

ماذا يعني ذلك

يُظهر LensVLM أن القناة البصرية قادرة على أن تصبح بديلًا كاملًا عن التجزئة إلى رموز في المستندات الطويلة. وإذا ثبتت قابلية هذا النهج للتوسع، فقد يغيّر طريقة تعامل نماذج VLM مع الكتب وملفات PDF وغيرها من المستندات: رموز أقل، وسياق أوسع، ودقة قراءة أعلى.

هل تستطيع الشبكة العصبية قراءة النص على الصور المضغوطة؟

نعم، فقد دُرِّب LensVLM خصيصًا لذلك. فهو يدرك النص بوصفه صورة مُصيَّرة، ويمكنه التعرف عليه بموثوقية حتى عند الضغط الشديد.