Qwen وGemma وPhi-4: خمسة نماذج متعددة الوسائط مفتوحة المصدر تغطي جميع أنواع البيانات

لم تعد نماذج omni المفتوحة المصدر، أي الأنظمة القادرة على العمل في وقت واحد مع النص والصور والصوت والفيديو، حبيسة مرحلة التجارب. هناك خمسة مشاريع يمكن تشغيلها محليًا بالفعل، وهي صالحة للنشر في بيئات الإنتاج.

لماذا omni وليس خط معالجة متسلسلًا

يبدو مكدّس الذكاء الاصطناعي التقليدي كخط إنتاج: يحوّل Whisper الصوت إلى نص، ثم يحلل نموذج لغوي النص، ويعالج نموذج منفصل الصور. أما نماذج omni فتُبنى بشكل مختلف: مشفّر واحد يستقبل أي نوع من البيانات المدخلة، ومفكّك ترميز واحد يولّد الإجابة. وهذا يقلل التعقيد المعماري ويحسّن فهم السياق، إذ يرى النموذج الصورة ويسمع السؤال في آن واحد، لا على مراحل متسلسلة.

خمسة نماذج تعمل اليوم

Qwen2.5-Omni من Alibaba Research هو أنضج المشاريع الخمسة. يستقبل النص والصوت والصور والفيديو، ويرد بالنص وبكلام مُصطنع. يقل زمن الاستجابة في التفاعل الصوتي عن 500 مللي ثانية. يتوفر بأحجام من 3B إلى 72B معامل، وتسمح رخصته بالاستخدام التجاري.

InternVL3 من OpenGVLab يركّز على فهم الصور ومقاطع الفيديو والمستندات. يستخرج بيانات منظمة من الجداول والنماذج وملفات PDF بدقة تفوق معظم أنظمة OCR المتخصصة. ويدعم أكثر من 20 لغة، بما فيها الكيريلية.

Gemma 3n من Google نموذج متعدد الوسائط مُحسّن للأجهزة الطرفية (edge). بحجم 4B معامل، يشغل أقل من 3 غيغابايت من الذاكرة ويعمل على الهواتف. يعالج النص والصور، أما الصوت فعبر محوّل منفصل.

Phi-4 Multimodal من Microsoft يركّز على الاستدلال انطلاقًا من الصور والنص. يتعامل جيدًا مع المخططات العلمية والصيغ الرياضية والرسوم التخطيطية. ويناسب التطبيقات التقنية والتعليمية.

MiniCPM-o 2.6 من ModelBest نموذج مدمج من نوع any-to-any بحجم 8B معامل ويدعم المعالجة المتدفقة. وهو مناسب لروبوتات الدردشة الصوتية ذات زمن الاستجابة المنخفض.

ملخص القدرات:

• Qwen2.5-Omni — any-to-any كامل يشمل توليد الكلام، من 3B إلى 72B
• InternVL3 — الأفضل في OCR وذكاء المستندات (document intelligence)، حتى 78B
• Gemma 3n — الأكثر إحكامًا، ومُحسّن للأجهزة المحمولة
• Phi-4 Multimodal — استدلال قوي انطلاقًا من الصور والرسوم البيانية
• MiniCPM-o 2.6 — معالجة متدفقة، ومناسب للمساعدين الفوريين (real-time)

كيف تختار النموذج المناسب للمهمة

للمساعد الصوتي ذي زمن الاستجابة المنخفض: Qwen2.5-Omni أو MiniCPM-o. لتحليل المستندات والنماذج: InternVL3. للتشغيل على عتاد ضعيف أو جهاز محمول: Gemma 3n. للتطبيقات التقنية التي تعتمد على المخططات: Phi-4.

عند الاختبار، ينبغي التحقق مما يلي: هل يدعم النموذج الإدخال الصوتي المتدفق، وكيف يتصرف OCR مع المخطوطات اليدوية والخطوط غير القياسية، وكم يحتاج من VRAM، وهل الاستدلال على CPU ممكن. وهناك نقطة مستقلة هي الرخصة: Apache 2.0 تسمح بالاستخدام التجاري دون قيود، في حين تتطلب Gemma اتفاقًا منفصلًا مع Google.

ماذا يعني ذلك

تنتقل نماذج omni المفتوحة من اختبارات الأداء الأكاديمية إلى النشر الفعلي. وبوسع الشركات التي بنت خطوط معالجة معقدة من عدة نماذج متخصصة أن تستبدلها الآن بنموذج واحد، بتكاليف تشغيلية أقل وفهم أكثر تكاملًا للسياق. وبالنسبة إلى المنتجات التي تجمع الصوت والصور والمستندات، يغيّر ذلك البنية من نمط خط المعالجة المتسلسل إلى نمط متكامل (monolithic).