Tencent تطلق Youtu-Parsing-Omni: نموذج واحد يحلّل المستندات والصوت والفيديو

أطلقت Tencent نموذج Youtu-Parsing-Omni، وهو «محلّل لكل الحالات»: يقرأ النموذج صفحات المستندات والصور الفوتوغرافية والصوت والفيديو، ويحوّلها إلى سجل منظّم. في هذا السجل يملك كل مقطع إحداثيات على الصورة أو فترة زمنية. ويعمل هذا السجل بمثابة طبقة إدراك لوكلاء الذكاء الاصطناعي. فالوكيل يحوّل المدخل إلى نص مرة واحدة، ثم يعمل أي نموذج لغوي، بما في ذلك النموذج الذي لا يرى ولا يسمع، على هذا النص، ويشير إلى منطقة أو فترة زمنية محددة بوصفها دليلًا. الكود والأوزان متاحان للجميع.

لماذا يحتاج الوكلاء إلى مدخلات محلَّلة مسبقًا

تعتمد الوكلاء المبنية على LLM بشكل متزايد على بيانات خارج ذاكرتها: تبحث عن مصادر، وتستدعي أدوات، وتتحكم في الحاسوب عبر الشاشة. ونادرًا ما تصل هذه البيانات نصًا صافيًا. فهي غالبًا ملفات PDF ولقطات شاشة وتسجيلات مكالمات ومقاطع فيديو.

إذا مُرّرت وحدات البكسل والصوت الخام إلى النموذج الرئيسي للوكيل، تظهر مشكلتان:

• في كل مرة يعود فيها النموذج إلى المادة، يعيد ترميز تسلسلات طويلة من الرموز (tokens) البصرية والصوتية؛ • الإجابة المستخرجة من وحدات البكسل أو الموجة الصوتية لا تُظهر بنفسها أي مقطع يدعمها.

يحلّل Parsing-Omni المدخل مرة واحدة. بعد ذلك يعمل الوكيل مع سجل نصي، ويمكنه التحقق من كل ادعاء عبر نقطة الارتكاز المرتبطة به.

الحلول الجاهزة لا تغطي هذه المهمة إلا جزئيًا. فمحلّلات المستندات تتعامل جيدًا مع الصفحات العادية، لكنها تترك البنى الكيميائية والنوتات الموسيقية عادةً لنماذج متخصصة ضيقة. أما النماذج متعددة الوسائط فهي مضبوطة لوصف الصور والإجابة عن الأسئلة، لا لإخراج منظّم مرتبط بمواضع محددة. ولذلك يضطر المرء إلى الاحتفاظ بنماذج مختلفة لأنواع المدخلات المختلفة، بصيغ إجابة مختلفة.

مشفّر واحد بدل برجين

في المحلّلات الشاملة (omni) الحالية، ومنها Logics-Parsing-Omni، يرمّز البكسل والصوت مشفّران دُرّبا بشكل منفصل. ولا يلتقي تدفقاهما للمرة الأولى إلا داخل النموذج اللغوي. ومن هنا تنشأ ثلاث مشكلات: لا تتم المطابقة بين الإطار والصوت في اللحظة نفسها أثناء الإدراك، ويملك المشفّران عدًّا زمنيًا مستقلًا، وتتطلب كل وسيلة (modality) جديدة برجًا جديدًا مع تدريب مسبق خاص به.

يختلف تصميم Youtu-Omni-Encoder:

• محوّل (transformer) واحد مشترك بانتباه ثنائي الاتجاه لجميع الوسائط، جرت تهيئته بأوزان نموذج لغوي نصي مدرَّب مسبقًا، لتحسين قراءة النص داخل الصور؛ • لكل وسيلة «مداخل» خفيفة ومساقط إخراج (projectors) فقط. تُقطَّع الصور والإطارات إلى رقع (patches) بتحويل خطي واحد، ويتحول الصوت إلى مخطط طيفي ميلي لوغاريتمي (log-mel) مع عدة التفافات ضاغطة؛ • المفكّك نموذج نصي كثيف دُرّب وفق وصفة Youtu-LLM-2B. ولا يُخرج إلا نصًا.

تتطلب الوسيلة الجديدة في هذا التصميم «مدخلًا» ومسقطًا جديدين، لا برجًا ثانيًا. ومع ذلك سيتعيّن إعادة تدريب الأوزان المشتركة على المدخل الجديد.

كيف تتم مزامنة الإطار والصوت زمنيًا

يملك المشفّر نظام مواضع موحّدًا. يُقسَّم نطاق ترددات المواضع الدوّارة (RoPE) إلى مقاطع للعرض والارتفاع والزمن. وينال الإطار والرمز الصوتي موضعًا على محور زمني مشترك.

لا يكفي المحور المشترك، فلا بد أيضًا من تفاعل. لذلك تعمل بعض الطبقات بوصفها طبقات دمج. تُرصّ إطارات الفيديو ومقاطعه الصوتية بترتيب زمني، وتبدأ نافذة انتباه جديدة عند كل حدّ «صوت ← إطار». فيرى الإطار صوت اللحظة نفسها. وبذلك يُحسب «ما الكلمات التي تُسمع بينما تظهر هذه الشريحة على الشاشة» في مرحلة الإدراك، ولا يضطر المفكّك إلى استعادة ذلك بأثر رجعي.

في بقية الطبقات يملك كل إطار ومقطع صوتي نافذته الخاصة. ويستخدم النمطان الأوزان نفسها. أثناء التدريب يمر الفيديو عبر الدمج باحتمال محدد، ولذلك يعمل المساران كلاهما عند الاستدلال.

مخطط واحد وتعلّم ذاتي من إجاباته

يسمى تنسيق الإخراج المشترك OmniSchema. هو JSON بثلاثة حقول إلزامية: قائمة بالوحدات المحددة المواضع مع محتواها، ووصف عام للمدخل، وحقول خدمية. في الصور تكون الوحدة عنصرًا بإطار محدِّد بإحداثيات معيارية، وفي الصوت والفيديو تكون مقطعًا له بداية ونهاية (بدقة الثانية) ومعرّف للمتحدث موحّد على كامل المدخل. ويغطي المخطط 10 مهام وثلاثة أنواع من المدخلات: الصور (الصفحات والصور الفوتوغرافية العادية) والصوت والفيديو.

أتاح التنسيق الموحد تطبيق إجراء واحد للتدريب الإضافي هو OSAD (OmniSchema-Aware On-Policy Distillation). بعد التدريب المعتاد على الإجابات المرجعية والتعلّم بمكافأة قابلة للتحقق، يتعلم النموذج من تحليلاته الخاصة. و«المعلّم» نسخة مجمّدة من النموذج نفسه تُعرض عليها إضافةً الإجابة المرجعية. وهي تقدّم توزيعات مستهدفة لكل رمز. تُقسَّم الرموز بحسب أدوارها: المحتوى أو البنية، وتُستخدم لكل دور دالة خسارة خاصة. وبعد كل جولة يصبح النموذج المدرَّب معلّمًا جديدًا. ولا حاجة إلى دالة مكافأة يدوية ولا إلى نموذج معلّم منفصل.

النتائج

يخدم نقطة تحقق (checkpoint) واحدة جميع المهام العشر. ويعلن المطورون ما يلي:

• أفضل نتيجة على OmniDocBench v1.6، وهو معيار لتحليل صفحات المستندات؛ • المركز الأول بين النماذج المفتوحة على OmniParsingBench الذي يختبر تحليل الصور والصوت والفيديو. وتفوق النموذج على Logics-Parsing-Omni، وكان الفارق الأكبر في الصوت والفيديو؛ • أفضل درجة إجمالية في تحليل الرسوم البيانية؛ • أعلى نسبة تطابق دقيق في «البصمات» الكيميائية للجزيئات (مقياس [email protected]) بين الأنظمة المقارَنة، ومنها DeepSeek-OCR 2؛ • في النسخ الحرفي للنوتات الموسيقية المطبوعة يقف النموذج في مستوى LEGATO المتخصص، ويتقدم بفارق كبير على الأنظمة العامة.

والخلاصة للمهندسين: بدلًا من مجموعة نماذج OCR وASR وفيديو بصيغ مختلفة، يمكن الاكتفاء بمحلّل واحد مع إحالات قابلة للتحقق إلى المصدر. وبالنسبة للشركات، هذا طريق نحو وكلاء يحلّلون العقود وتسجيلات الاجتماعات ومقاطع الفيديو، ويبيّنون من أين أُخذ كل ادعاء. جميع الأرقام مأخوذة من إعلان المطورين، ولا توجد قياسات مستقلة حتى الآن.