أبل للأبحاث: LensVLM يعلم نماذج الرؤية واللغة قراءة النص في الصور المضغوطة بشدة

نشرت قسم البحث في الذكاء الاصطناعي بشركة أبل ورقة بحثية عن LensVLM — إطار عمل لنماذج الرؤية واللغة يمكّنها من قراءة النصوص بشكل موثوق من الصور المضغوطة بشدة. يحل هذا التطوير مشكلة عطّلت استخدام القناة البصرية لمعالجة الوثائق الطويلة.

لماذا النص كصورة واعد

نماذج الرؤية واللغة الحديثة (VLM) يمكنها إدراك النص ليس من خلال الترميز، بل مباشرة كصورة مصنوعة: حرفياً 'رؤية' ما هو مكتوب. هذا مختلف بشكل أساسي عن كيفية عمل نماذج اللغة التقليدية.

في النهج الكلاسيكي، يتم تحويل كل حرف أو كلمة فرعية إلى رمز رقمي، والمستند الطويل ينتج تسلسلاً طويلاً. هذا يرهق الذاكرة ويحد من نافذة السياق. يعمل المشفرات البصرية في VLMs بشكل مختلف: تنتج دائماً عدداً ثابتاً من الرموز من صورة، بغض النظر عن كمية النص التي تحتويها.

من هنا تنشأ فكرة جذابة: بخفض دقة الرسم، يمكنك حشر المزيد من النص في نفس 'ميزانية الرموز'. يحول هذا الدقة إلى منظم مرن لدرجة الضغط. لمعالجة الكتب والتقارير بصيغة PDF والمستندات الطويلة، مثل هذا النهج هو بالفعل أكثر اقتصاداً من الترميز القياسي.

لماذا الضغط العالي يكسر الدقة

مع الضغط العدواني، تنخفض دقة VLM بشكل حاد. السبب ميكانيكي: تنكمش الأحرف في الصورة تحت الدقة الفعلية للمشفر البصري. تندمج الأحرف معاً، تصبح غير قابلة للتمييز، ويفقد النموذج القدرة على قراءة النص — حتى لو كان يرى الصورة تقنياً.

النتيجة هي مقايضة غير مرغوبة: كلما زاد الضغط، زاد النص الذي يناسب السياق، لكن كلما قل فهم النموذج له. كانت هذه الحاجزة تحد من التطبيق العملي للنهج البصري للمستندات الطويلة حتى الآن.

كيف يحل LensVLM المشكلة

الفكرة الرئيسية من أبحاث ML في أبل هي آلية توسيع السياق الانتقائي. بدلاً من معالجة الصورة بأكملها بشكل موحد، يتعلم النموذج مسحها بشكل متكيف: بإيلاء اهتمام إضافي للمناطق التي تحتوي على نص كثيف أو صغير.

يشير اسم LensVLM إلى استعارة العدسة البصرية: تماماً كما تركز العدسة على التفصيل المطلوب بينما تتجاهل البقية، يركز النموذج على الأجزاء الحرجة. بفضل هذا، تظل درجة الضغط الإجمالية عالية، بينما تزيد الدقة المحلية فقط حيث يكون ذلك ضرورياً حقاً.

يتم تنفيذ الإطار العملي من خلال مكونين متكاملين:

• إطار العمل الاستدلالي — يحدد كيفية رؤية النموذج للصورة أثناء الاستدلال: متى وكم مرة زيادة الاهتمام بمنطقة معينة
• وصفة التدريب اللاحق (post-training recipe) — تكيّف نماذج VLM الموجودة للعمل مع تمثيلات النصوص المضغوطة، دون الحاجة إلى التدريب من الصفر

يجعل هذا النهج LensVLM عملياً: يمكن دمجه في النماذج الموجودة دون الحاجة إلى تطوير بنية جديدة من الصفر.

ماذا يعني هذا

يوضح LensVLM أن القناة البصرية قادرة على أن تصبح بديلاً كاملاً للترميز للمستندات الطويلة. إذا ثبت أن النهج قابل للتوسع، فقد يغير طريقة عمل نماذج VLM مع الكتب وملفات PDF والمستندات الأخرى: رموز أقل، سياق أوسع، دقة قراءة أعلى.