Talkie-1930: أطلق الباحثون نموذج 13B بدون معرفة بالإنترنت والحرب العالمية الثانية

طالكي-1930 — تجربة نادرة تحاول إعادة نموذج لغة إلى السياق الفكري لأوائل القرن العشرين. هذا النموذج المفتوح ذو 13 مليار معامل تم تدريبه حصراً على نصوص باللغة الإنجليزية نُشرت قبل 31 ديسمبر 1930، لذا فهو لا يعرف شيئاً عن الإنترنت أو الهواتف الذكية أو الحرب العالمية الثانية كحقيقة واقعة. بدلاً من أداة دردشة أخرى تعلم كل شيء، أنشأ الباحثون منصة اختبار نظيفة للتحقق من كيفية تفكير النموذج والتنبؤ والتعميم عندما تكون رؤيته للعالم مثبتة بصرامة في نقطة تاريخية واحدة.

قدمت المشروع فريق بقيادة نيك لوفين وديفيد دوفينود وأليك رادفورد. تم تدريب النسخة الأساسية talkie-1930-13b-base على 260 مليار رمز من الكتب والصحف والمجلات والمقالات العلمية والبراءات والوثائق القانونية. نقطة تفتيش حوارية منفصلة talkie-1930-13b-it متاحة أيضاً، مضبوطة للحوار.

يتم نشر كلا النسختين مع أوزان مفتوحة بموجب ترخيص Apache 2.0. جمع المؤلفون أيضاً "توأماً معاصراً" بنفس البنية وميزانية الحوسبة، لكن مدرب على مدونة FineWeb، مما يسمح بمقارنة ليس نماذج مجردة من فترات مختلفة، بل أنظمة متطابقة تقريباً على أنواع بيانات مختلفة.

لا تكمن القيمة الأساسية لـ Talkie-1930 في الأسلوب القديم، بل في نقاء البحث. تعاني نماذج اللغة الكبيرة الحديثة حتماً تقريباً من التلوث — عندما تكون مهام الاختبار أو أجزاء المعايير أو البيانات الوثيقة الصلة قد اخترقت بالفعل التدريب. نموذج عتيق بحسب التعريف لديه مشكلة أقل: إذا وصفت قاعمة معيار أحداثاً أو تقنيات بعد 1930، فلم يكن طالكي يمكن أن يكون قد رآها مسبقاً.

هذا يجعل من المناسب اختبار إلى أي مدى يمكن للنموذج فعلاً التعميم بما يتجاوز مجموعة بياناته. اختبر المؤلفون، على سبيل المثال، ما إذا كان يمكنه كتابة كود Python من بضعة أمثلة في السياق، حتى لو كان Python والحواسيب الرقمية غائبة عن بيانات تدريبه. النتائج حتى الآن ضعيفة، لكن مجرد حقيقة الإجابات الصحيحة في بعض الأحيان تظهر أن النموذج يمكنه استعارة هيكل الحل بدلاً من مجرد نسخ القوالب المتعلمة.

يستخدم الفريق أيضاً Talkie-1930 كأداة للتقييمات الزمنية والتاريخية. في إحدى التجارب، قاس النموذج درجة "المفاجأة" للوصفات القصيرة للأحداث الحقيقية من أرشيف نيويورك تايمز: بعد نقطة القطع في 1930، تصبح القصص أقل قابلية للتنبؤ بها بملحوظ له، خاصة الأحداث في الخمسينيات والستينيات. يوفر هذا طريقة أنيقة لدراسة كيفية "رؤية" النماذج للمستقبل من الماضي وكيف تتغير قدرتها على التنبؤ عبر مسافات زمنية طويلة.

سؤال آخر مثير للاهتمام هو ما الذي يحدد بالضبط شخصية النموذج. تنبع جميع نماذج اللغة الكبيرة الحديثة تقريباً بطريقة ما من بيانات الويب؛ يكسر Talkie هذا الإرث ويسمح بفصل الخصائص الكامنة في نموذج اللغة نفسه عن خصائص الإنترنت كبيئة تدريب.

من الناحية الفنية، ثبت أن المشروع أكثر تعقيداً بكثير من مجرد تصفية حسب التاريخ. أخطر خطر هو تسرب زمني: قد تدخل الوثائق الخاطئة التاريخ والمقدمات التحريرية المعاصرة للكتب القديمة أو الحواشي السفلية المتأخرة معرفة من المستقبل إلى المجموعة بخفاء. بنى المؤلفون مصنف اللازمنية على مستوى الوثيقة، لكنهم يعترفون بأنه ليس مثالياً: النسخ المبكرة من النموذج كانت تعرف عن رئاسة فرانكلين روزفلت وإصلاحات الصفقة الجديدة، والنقطة المرجعية 13B تحتفظ بمعرفة متناثرة عن الحرب العالمية الثانية والأمم المتحدة وإعادة بناء ألمانيا بعد الحرب.

مؤلم بنفس القدر هو جودة التعرف على النصوص. نظراً لأن البنية الحاسوبية للنشر لم تكن موجودة في 1930، كان يجب تجميع المجموعة بأكملها عبر OCR. في الاختبارات المنضبطة، أعطى OCR القياسي حوالي 30٪ فقط من كفاءة التدريب مقارنة بالنسخ البشري للنصوص ذاتها؛ التنظيف البسيط بالتعبيرات النمطية رفعه إلى حوالي 70٪، لكن الفجوة الكبيرة استمرت.

لمنع امتصاص النسخة الحوارية للعادات الحديثة، كان يجب بناء ما بعد التدريب من الصفر أيضاً. بدلاً من مجموعات بيانات التعليمات النموذجية، استخرج الفريق أزواج "تعليمات-إجابة" من المراجع التاريخية: أدلة الآداب والفنون، أدلة كتابة الرسائل، كتب الطبخ، القواموس، الموسوعات، مجموعات الحكايات والشعر. تم بعد ذلك تحسين النموذج من خلال DPO عبر الإنترنت باستخدام نموذج لغة حديث كحكم؛ وفقاً للتقييم الداخلي، تحسن اتباع التعليمات من 2.0 إلى 3.4 من 5 نقاط.

يخطط المؤلفون لتوسيع المجموعة إلى أكثر من تريليون رمز وتوسيع نطاقها خارج اللغة الإنجليزية وإطلاق نموذج عتيق يعادل GPT-3 بحلول صيف 2026.

في التحليل النهائي، يهم Talkie-1930 ليس كأداة دردشة حنينية، بل كمختبر لاختبار الأسئلة الأساسية حول الذكاء الاصطناعي: ما الذي يفهمه النموذج حقاً، وما الذي يجب أن يحفظه بحتة، إلى أي مدى يمكنه التعميم دون تلميحات من المستقبل، وإلى أي مدى شكلت الإنترنت شخصية نماذج اللغة الكبيرة الحديثة. إذا تمكن المشروع من تقليل التسرب والضوضاء من OCR، سيحصل الباحثون على أحد أنظف الأدوات لدراسة حدود التعميم في نماذج اللغة.