Property Finder تكتشف انحيازًا في التوسيم وتخفض تكلفة VLM بنسبة 86%

تعالج Property Finder، وهي منصة عقارية رقمية، عشرات الآلاف من الصور يوميًا في أنحاء منطقة MENA. يُفحص كل صورة وفق 11 سمة، ويضم الإعلان الواحد في المتوسط 15 صورة. أرادت الشركة الانتقال من نموذج رؤية احتكاري مرتفع التكلفة إلى نموذج أرخص على Amazon Bedrock، لكنها اصطدمت بمشكلة غير متوقعة: 96,8% من التسميات المرجعية لم تكن نتيجة مراجعة يدوية، بل نسخة من تنبؤات النموذج نفسه الذي كانت تنوي استبداله. وفي النهاية أعاد الفريق، بالتعاون مع AWS Generative AI Innovation Center، بناء عملية التقييم، وضبط الموجّهات، وانتقل إلى Llama 4 Maverick 17B Instruct، فحقق Micro F1 بقيمة 0,80 مقابل 0,56 للنموذج السابق، ووفّر 86% من التكلفة.

إجابات كتبها النموذج المراد استبداله

هذا المخطط مألوف لدى كثيرين. يحتاج الفريق إلى مجموعة بيانات لمقارنة النماذج، ولديه نظام إنتاجي يعمل ولا يشكو منه أحد، فيُتخذ خرجه حقيقةً مرجعية (ground truth). والنتيجة حلقة مفرغة: يُقيَّم المرشح بمدى قربه من النموذج الحالي لا بمدى صحته. وبنيويًا، يخسر أي بديل قبل أن يُرسَل إليه أول طلب.

وفي بيانات Property Finder ظهرت أيضًا أخطاء صريحة. ففي استخراج نص العلامات المائية، وُسمت أخطاء حرفية على أنها صحيحة، بما في ذلك أسماء علامات تجارية مختلقة ورموز ناقصة. وأجبر تصنيف الصور على اختيار تسمية واحدة، مع أن اللقطة تُظهر عدة أنواع من الغرف. أما في الـ 3,2% المتبقية من التسميات التي وضعها بشر، فأضاف المُوسِّمون فئات خارج المواصفات، مثل Office.

كيف بُني المرجع وكيف جرى اختبار 27 نسخة من الموجّه

وسّم الخبراء يدويًا 356 صورة من الإمارات العربية المتحدة بصورة مستقلة، ودون الاطلاع على مخرجات النموذج القديم. وشكّلت أول 256 صورة مجموعة التطوير (dev) المخصصة للضبط، وأُضيفت 100 صورة أخرى لاحقًا، وخضعت الصور الـ 356 جميعها للمقارنة النهائية. واستُخدمت مجموعة منفصلة من مصر تضم 230 صورة للتحقق عبر المناطق، ولم تدخل في التقرير. نفّذ التوسيم محلل يتمتع بمعرفة بمعايير جودة الإعلانات العقارية، وجرت مناقشة الحالات الخلافية في جلسات مع فريق AWS.

القرار المحوري كان الانتقال من تسمية واحدة إلى التسميات المتعددة (multilabel). فصورة ممر يظهر فيه باب غرفة نوم تحتوي فعلًا على الغرفتين. واختيرت المقاييس بما يناسب المهمة: Micro F1 مقياسًا رئيسيًا، وMacro F1 للفئات النادرة، وprecision/recall لكل تسمية، وIoU على مستوى العيّنة، بالإضافة إلى دقة exact-match للسمات التسع ذات التسمية الواحدة.

يصف المؤلفون عملية التحسين بالقياس على التعلم المعزز (RL): نسخة الموجّه تؤدي دور الوكيل، وMicro F1 هو المكافأة، وتحليل الأخطاء يحل محل التدرج (gradient). وهذه الفكرة قريبة من GEPA. ونشأت معظم النسخ من تحليل الصور الخاطئة بمساعدة مساعدات الذكاء الاصطناعي، أما في v27 فاستُخدم MIPROv2 من DSPy لتصنيف الصور.

ما نجح، خطوة بخطوة:

• v0: موجّه عام يصنّف الصور وفق قائمة غرف • مخرجات منظمة مع تعريفات للسمات • قاعدة تقضي بالتصنيف وفق الغرفة التي تشغل الجزء الأكبر من الإطار • قواعد إقليمية: النقش العربي الزخرفي لا يُعدّ علامة مائية، وقد أزال ذلك فئة كاملة من الإنذارات الكاذبة • v21: تسميات متعددة للصورة ولفئة الغرفة، ونقطة انطلاق مشتركة لجميع النماذج؛ وسجّل Llama 4 Maverick قيمة Micro F1 بلغت 0,75 على مجموعة التطوير • v24: معالجة المبالغة في تقدير حجم الغرف، والتسميات المتعددة، وصيغة المخرجات • v25: نسخة محسّنة تلقائيًا، مع نقل المهام الحرجة إلى بداية الموجّه • v27: أعاد MIPROv2 بناء تصنيف الصور، وبلغ Micro F1 في هذه المهمة 0,76 • v27_PF: مع إضافة قواعد Property Finder الخاصة بالرندرات (renders) والإطارات والممرات، وتطبيع الصيغة بعد كل استدعاء

وكانت الإخفاقات مفيدة أيضًا. فتقسيم المهمة إلى استدعاءين، أحدهما للعلامات المائية والآخر لبقية السمات، لم يحقق مكسبًا ملحوظًا، بينما تراجع اكتشاف الصور ذات الإطار بحدة: فمن دون سياق العلامات المائية، اعتبرت النماذج الطبقات المتراكبة (overlays) حدودًا. ولم تنجح الموجّهات الشاملة مع أي نموذج.

الأرقام والتحفظات والتكلفة

على 356 صورة، حقق Llama 4 Maverick 17B Instruct مع v27_PF قيمة Micro F1 بلغت 0,80، بينما حقق النموذج الاحتكاري A مع v22 قيمة 0,56. وعلى مجموعة التطوير، رفع الانتقال بين النموذجين، مع موجّهات كل منهما بعد الضبط، المقياس من 0,55 إلى 0,81، أي بنسبة 47% نسبيًا. وأدى ضبط الموجّه وحده على Llama إلى ارتفاع من 0,75 إلى 0,81. ويحذّر المؤلفون بصراحة من أن مجموعة التقييم تتضمن صور التطوير، ولذلك فالأرقام متفائلة. كما حظي Llama بضبط أكثر (v24–v27 بالإضافة إلى قواعد العميل)، بينما لم تحصل النموذج A إلا على جولة واحدة هي v22.

دقة Exact-match للسمات ذات التسمية الواحدة على 356 صورة:

• اكتشاف الدوران: 100% • وجود أشخاص في الإطار: 97% • صورة ذات إطار: 97% • العلامات المائية: 94% • الرندرات: 93% • حالة الأثاث: 91% • غرفة قيد الإنشاء: 81% • حجم الغرفة: 65% • استخراج نص العلامات المائية: 55%

سجّل النموذج 90% فأعلى في ست سمات من تسع، وتساوى مع النموذج A أو تفوّق عليه في السمات الـ 11 جميعها، أما في تصنيف الصور فالنتيجة متطابقة. ونقاط الضعف واضحة: حجم الغرفة وOCR العلامات المائية.

تُقدَّر التكلفة بـ $2,35 لكل 1000 صورة (US East, Ohio، ديسمبر 2025)، أي أقل بنسبة 86% من المخطط السابق. ويفترض الحساب 9000 رمز إدخال و200 رمز إخراج لكل صورة وفق تحليل بخطوتي استدعاء. أما موجّه الإنتاج الفعلي في استدعاء واحد فيشغل 7500–8000 رمز إدخال، ولذلك فالرقم يمثل الحد الأعلى. والمقارنة تجري مع تقدير للتهيئة السابقة على v21 لا على v22، لذا قد تختلف تكلفتها. وانخفض زمن الاستدلال، بحسب المراقبة الداخلية لدى Property Finder، بنسبة 40–60%.

ما الذي يجب التحقق منه لديكم

ابدؤوا بتدقيق التسميات: إذا كانت قد نشأت من تنبؤات نموذج، فلديكم المشكلة نفسها. تحتاجون إلى بضع مئات من العيّنات التمثيلية بتوسيم خبير مستقل، ومجموعة اختبار منفصلة لا تشارك أبدًا في الضبط. وبالنسبة إلى السمات المتداخلة، استخدموا مقاييس التسميات المتعددة وقارنوا Macro F1 بـ Micro. عدّلوا الموجّهات استنادًا إلى تحليل صور خاطئة محددة، واحتفظوا بمرشح واحد لكل عائلة نماذج. ولتوسيع مجموعة البيانات، يقترح المؤلفون نهجًا هجينًا: تقترح نماذج من عائلات مختلفة التسميات وتكشف التباينات، ويصدر البشر الحكم في كل حالة.