Meta تكشف عن Autodata: منظومة وكلاء لإنشاء بيانات تدريب عالية الجودة

كشفت Meta في 1 مايو عن Autodata، وهو إطار عمل تجمع فيه وكلاء LLM مجموعات بيانات التدريب بأنفسهم وتتحقق منها وتحسّنها. وتقوم الفكرة على تحويل النموذج من مجرد مولّد للبيانات الاصطناعية (synthetic data) إلى عالم بيانات (data scientist) مستقل يحسّن جودة الأمثلة بصورة تكرارية.

لماذا نحتاج إلى Autodata

أصبحت البيانات الاصطناعية منذ زمن من أبرز وسائل تسريع تدريب النماذج: فهي أرخص من الوسم اليدوي، وتساعد على تغطية السيناريوهات النادرة، وتتيح توليد مهام أعقد من تلك التي يسهل العثور عليها في المدونات المفتوحة. لكن لمعظم الأساليب الشائعة، من Self-Instruct إلى صيغ grounded وCoT، سقفًا مشتركًا: فهي تنشئ البيانات في مرحلة واحدة، ثم تُضبط الجودة بعد التوليد عبر الفلترة أو التحسين اليدوي.

يغيّر Autodata منطق العملية نفسه. فبدلًا من توليد الأمثلة مرة واحدة والأمل في أن تكون بينها أمثلة جيدة، تقترح Meta حلقة مغلقة تشبه عمل باحث بيانات حقيقي. يعتمد الوكيل على مستندات مصدرية وينشئ منها المهام، ثم يحلّل أين تكون سهلة أكثر من اللازم أو مشوشة أو قليلة الفائدة، ثم يعيد كتابة وصفة التوليد الخاصة به ويحاول من جديد. وبذلك لا يذهب حوسبة الاستدلال (inference compute) الإضافية إلى إجابات النموذج فحسب، بل إلى تحسين البيانات نفسها التي سيتعلم منها لاحقًا.

كيف تعمل الحلقة

يحمل التطبيق العملي الأول للإطار اسم Agentic Self-Instruct. فيه تؤدي LLM مركزية دور المنسّق (orchestrator) وتدير عدة وكلاء متخصصين، يتولى كل منهم مرحلة منفصلة من فحص الجودة. وهذا المسار ضروري كي لا تدخل مجموعة البيانات أمثلةٌ صحيحة فحسب، بل تلك التي يحقق فيها النموذج القوي نتيجة أفضل باستمرار من النموذج الضعيف. ويستخدم الوكيل كأساس مواد مصدرية مثل الأوراق العلمية والشيفرة البرمجية وغيرها من المستندات المتخصصة.

• Challenger ينشئ سؤالًا جديدًا وسياقًا وإجابة مرجعية ومعيار تقييم (rubric) استنادًا إلى المستند المصدري.
• Weak solver يحاول حل المهمة في وضع محدود، ويُفترض أن يخفق فيها أكثر بوضوح.
• Strong solver يحل المهمة نفسها بإعدادات أقوى، ويُفترض أن يتجاوز عتبة الجودة.
• Verifier/Judge يفحص المثال نفسه، ثم يقيّم إجابات النموذجين وفق معايير محددة مسبقًا.

إذا كان السؤال سهلًا جدًا، يحصد النموذج الضعيف درجات كثيرة ويُستبعد المثال. وإذا كان صعبًا جدًا، يخفق النموذج القوي أيضًا، فيضطر الوكيل إلى البحث عن زاوية مختلفة. وتعتمد Meta عتبات محددة لقبول المثال: يجب ألا يتجاوز متوسط نتيجة weak solver نسبة 65%، وألا يقل متوسط strong solver عن 60% ولا يزيد على 95%، وألا يقل الفارق بينهما عن 20 نقطة مئوية. وعادةً ما تستغرق معالجة المستند الواحد عدة جولات من إعادة العمل هذه.

«يتيح إنشاء البيانات بالوكلاء تحويل حوسبة الاستدلال الإضافية إلى تدريب

أفضل جودة للنماذج».

ماذا أظهرت الاختبارات

اختبرت Meta نظام Agentic Self-Instruct على مهام علمية في علوم الحاسوب. عالج النظام أكثر من 10 آلاف ورقة من مدونة S2ORC تعود إلى عام 2022 وما بعده، وجمع في النهاية 2117 زوجًا من السؤال والجواب اجتازت جميع مرشّحات الجودة.

النتيجة الأساسية ليست زيادة كمية البيانات فحسب، بل زيادة قدرتها على التمييز بين النماذج. ففي CoT Self-Instruct التقليدي أظهر النموذجان الضعيف والقوي نتائج متقاربة تقريبًا: 71,4% مقابل 73,3%، أي أن الفارق لم يتجاوز 1,9 نقطة. أما في الوضع الوكيلي (agentic)، فقد هبط weak solver إلى 43,7% وارتفع strong solver إلى 77,8%، واتسع الفارق إلى 34 نقطة.

بعد ذلك لم تحسّن Meta الأسئلة نفسها، بل «سلوك» الوكيل عالم البيانات. ففي حلقة خارجية، شغّل مُحسِّن تطوري (evolutionary optimizer) نسخًا جديدة من مخزن الموجِّهات (prompts) ومنطق التقييم، وأبقى فقط على ما حسّن نتيجة التحقق (validation). وبلغ إجمالي التكرارات 233 تكرارًا، قُبل منها 126، وارتفعت نسبة التشغيلات الناجحة من 12,8% إلى 42,4%. ومن بين التحسينات التي اكتُشفت تلقائيًا: تحقق أصرم من ارتباط السؤال بالورقة المحددة، وحماية ضد تسرّب الحل إلى السياق، والتخلي عن الأوزان السالبة في معايير التقييم، وتحويل المعايير إلى صيغة JSON صارمة. وهذا يغيّر بالفعل اقتصاديات ما بعد التدريب (post-training).

ماذا يعني ذلك

يُظهر Autodata أن الطبقة التالية من المنافسة في الذكاء الاصطناعي قد تنتقل من سؤال «من درّب أكبر نموذج» إلى «من بنى أفضل مسار للبيانات». وهذا مهم خصوصًا للفرق التطبيقية: فبدلًا من الوسم اليدوي المتواصل، يمكنها استثمار الحوسبة (compute) في وكيل ينتقي بنفسه أمثلة صعبة ودقيقة ومفيدة فعلًا لإعادة تدريب النماذج وتقييمها.

*Meta مصنّفة منظمة متطرفة ومحظورة في روسيا.