Talkie-1930: باحثون يطلقون نموذجًا بحجم 13B دون أي معرفة بالإنترنت أو بالحرب العالمية الثانية

Talkie-1930 تجربة نادرة تحاول إعادة نموذج لغوي إلى السياق الفكري لأوائل القرن العشرين. إنه نموذج مفتوح بحجم 13 مليار معامل، دُرّب فقط على نصوص إنجليزية نُشرت قبل 31 ديسمبر 1930. لذلك لا يعرف شيئًا عن الإنترنت ولا عن الهواتف الذكية، ولا عن الحرب العالمية الثانية بوصفها حدثًا وقع فعلًا. وبدلًا من إنتاج روبوت محادثة آخر «عن كل شيء»، حصل الباحثون على بيئة اختبار نظيفة لدراسة كيفية استدلال النموذج وتنبؤه وتعميمه حين تكون رؤيته للعالم مثبّتة بصرامة عند نقطة تاريخية واحدة.

قدّم المشروع فريق يضم نيك ليفين وديفيد ديفينو وأليك رادفورد. دُرّبت النسخة الأساسية talkie-1930-13b-base على 260 مليار توكن من الكتب والصحف والمجلات والأبحاث العلمية وبراءات الاختراع والمواد القضائية. وتتوفر بشكل منفصل نقطة تحقق حوارية هي talkie-1930-13b-it، جرى تدريبها لاحقًا على المحادثة. وقد نُشرت النسختان بأوزان مفتوحة بموجب رخصة Apache 2.0. كما بنى المؤلفون «توأمًا حديثًا» بالبنية المعمارية نفسها وميزانية الحوسبة نفسها، لكن على مجموعة بيانات FineWeb، كي تتم المقارنة بين أنظمة شبه متطابقة تختلف في نوع البيانات فقط، لا بين نماذج مجردة من عصور مختلفة.

لا تكمن القيمة الرئيسية لـ Talkie-1930 في الطابع القديم، بل في النقاء البحثي. فالنماذج اللغوية الحديثة (LLM) تعاني تقريبًا حتمًا من التلوث (contamination)، أي حين تتسرب إلى التدريب مهام الاختبار أو أجزاء من المعايير (benchmarks) أو بيانات قريبة منها. أما النموذج القديم فمشكلته أقل بحكم تعريفه: إذا كان المعيار يصف أحداثًا أو تقنيات ظهرت بعد 1930، فلا يمكن لـ Talkie أن تكون قد اطلعت عليها مسبقًا. ولهذا يصلح النموذج لاختبار مدى قدرته على الخروج من حدود المدونة التي دُرّب عليها.

اختبر المؤلفون مثلًا ما إذا كان بوسعه كتابة شيفرة Python اعتمادًا على بضعة أمثلة في السياق، مع أن Python والحواسيب الرقمية لم تكن ضمن بيانات تدريبه. النتائج ضعيفة حتى الآن، لكن مجرد وجود إجابات صحيحة متفرقة يدل على أن النموذج قد يستعير بنية الحل، لا مجرد نسخ قوالب محفوظة.

يستخدم الفريق Talkie-1930 أيضًا أداةً للتقييم الزمني والتاريخي. ففي إحدى التجارب قاس النموذج «درجة المفاجأة» في أوصاف موجزة لأحداث حقيقية من أرشيف The New York Times. وبعد نقطة القطع عام 1930 تصبح الأحداث أقل قابلية للتنبؤ بوضوح بالنسبة إليه، خصوصًا أحداث الخمسينيات والستينيات. ويتيح ذلك طريقة دقيقة لدراسة كيف «ترى» النماذج المستقبل من الماضي، وكيف تتغير قدرتها على التنبؤ عبر مسافة زمنية طويلة.

ثمة سؤال آخر مثير: ما الذي يشكّل «شخصية» النموذج؟ فمعظم النماذج اللغوية الحديثة تنحدر بشكل أو بآخر من بيانات الويب، أما Talkie فتكسر هذا الإرث، وتتيح الفصل بين خصائص النموذج اللغوي نفسه وخصائص الإنترنت بوصفه بيئة تدريب.

من الناحية التقنية، تبيّن أن المشروع أعقد بكثير من مجرد التصفية حسب التاريخ. فأخطر المخاطر هو التسرّبات الزمنية: وثائق مؤرخة بشكل خاطئ، أو مقدمات تحريرية حديثة لكتب قديمة، أو هوامش متأخرة، قد تُدخل إلى المدونة معرفة من المستقبل دون أن يلاحظها أحد. بنى المؤلفون مصنّفًا للمفارقات التاريخية (anachronisms) على مستوى الوثيقة، لكنهم يقرّون بأنه ليس مثاليًا: فالنسخ المبكرة من النموذج كانت تعرف رئاسة فرانكلين روزفلت وإصلاحات New Deal، وما زالت نقطة التحقق بحجم 13B تحتفظ ببعض المعلومات عن الحرب العالمية الثانية والأمم المتحدة والتركيب ما بعد الحرب لألمانيا.

ومشكلة جودة التعرّف على النصوص لا تقل إيلامًا. فبما أنه لم تكن هناك في عام 1930 منظومة نشر رقمية، تعيّن جمع المدونة كلها عبر OCR. وفي اختبارات مضبوطة، لم يحقق OCR القياسي سوى نحو 30% من كفاءة التدريب مقارنة بالنسخ البشري للنصوص نفسها. وقد رفع التنظيف البسيط بالتعبيرات النمطية (regex) هذا الرقم إلى نحو 70%، لكن فجوة كبيرة بقيت قائمة.

ولكي لا تتأثر النسخة الحوارية بالعادات الحديثة، كان لا بد من بناء مرحلة ما بعد التدريب من الصفر أيضًا. فبدلًا من مجموعات instruction datasets المعتادة، استخرج الفريق أزواج «تعليمة — إجابة» من مراجع تاريخية: أدلة آداب السلوك، وكتب تعليم المراسلة، وكتب الطبخ، والقواميس، والموسوعات، ومجموعات الحكايات والأشعار. ثم حُسّن النموذج عبر online DPO باستخدام LLM حديث بدور الحكم. وبحسب التقييم الداخلي، ارتفعت درجة اتباع التعليمات من 2,0 إلى 3,4 من 5.

يخطط المؤلفون لاحقًا لتوسيع المدونة إلى أكثر من 1 تريليون توكن، ومدّها إلى ما بعد اللغة الإنجليزية، وإصدار نموذج vintage بمستوى GPT-3 في صيف 2026.

خلاصة القول إن أهمية Talkie-1930 لا تكمن في كونه روبوت محادثة حنينيًا، بل في كونه مختبرًا لاختبار أسئلة كبرى عن الذكاء الاصطناعي: ما الذي يفهمه النموذج فعلًا، وما الذي حفظه فحسب، وإلى أي مدى يستطيع التعميم دون تلميحات من المستقبل، وإلى أي حد حدّد الويب طبيعة النماذج اللغوية الحديثة. وإذا نجح المشروع في تقليص التسرّبات وضوضاء OCR، فسيحصل الباحثون على أحد أنقى الأدوات لدراسة حدود التعميم في النماذج اللغوية.