وكيل برمجي يبني استوديو موشن من 20 مكتبة مفتوحة: من Remotion إلى Whisper

عشرون مكتبة، ولا «نموذج فيديو» واحد، وفي النهاية ملف mp4 جاهز. جمعت قناة «Точки над ИИ» على Telegram مجموعة من الأدوات المفتوحة يصنع بها وكيل برمجي، انطلاقًا من موجز نصي، مقطعًا متحركًا يتضمن فيزياء وتعليقًا صوتيًا وترجمة نصية. ووفق ما يقوله أصحاب القناة، فإن المقطع المنشور في المنشور نفسه صُنع بالشيفرة أيضًا. المكتبات نفسها عادية: JavaScript وPython، ولا يوجد فيها ما صُمم خصيصًا «للوكلاء». لكن نماذج بمستوى Claude Opus تعرف واجهات API الخاصة بها جيدًا بما يكفي لكتابة شيفرة تعمل دون تصحيح أخطاء طويل.

لماذا يسهل على الوكيل كتابة الشيفرة أكثر من توليد البكسلات

تنتج نماذج الفيديو التوليدية نتيجة جميلة لكن يصعب التحكم فيها: يكاد يكون من المستحيل تعديل إطار واحد أو إزاحة عنوان بمقدار 12 بكسل. أما الشيفرة فتعمل بطريقة مختلفة. المشهد موصوف بمكوّنات وخطوط زمنية ومعاملات، لذلك يغيّر الوكيل سطرًا واحدًا ثم يعيد رندرة المقطع. وسجل الإصدارات محفوظ في git، ويمكن تشغيل القالب نفسه على سلسلة كاملة من المقاطع.

الميزة الثانية أن لهذه المكتبات قواعد ضخمة من الوثائق والأمثلة. وقد دخل ذلك كله منذ زمن في مجموعات بيانات التدريب، لذا تقلّ الهلوسات في استدعاءات API مقارنة بالأدوات الحديثة المتخصصة.

الأدوات العشرون مصنّفة في مجموعات

الفيديو والرندرة

• Remotion — فيديو بواسطة React. تُوصف الإطارات بمكوّنات، ويُنفَّذ الرندر إلى ملف. وهو الهيكل الذي يقوم عليه التجميع كله.
• HyperFrames — تحويل HTML إلى فيديو. المشروع موجود في مستودع HeyGen، وفيه تتحول صفحة الويب إلى مقطع.
• OpenCut — محرر فيديو مفتوح المصدر للمونتاج اليدوي وتحسين ما أنتجه الوكيل.
• OBS Studio — تسجيل الشاشة. يلزم عندما يجب إدراج واجهة حقيقية أو عرض توضيحي في المقطع.
• FFmpeg — التصدير النهائي والتحويل والدمج. وتنتهي أغلب خطوط معالجة الفيديو إليه في الأخير.

الرسوم المتحركة

• Anime.js — خطوط زمنية تُبنى عليها سلسلة الحركات.
• React Spring — رسوم متحركة تعتمد فيزياء النابض. تبدو الحركة فيها حية لا خطية.
• GL Transitions — انتقالات بين المشاهد تعتمد على الشيدرز.
• tsParticles — جسيمات: قصاصات ملونة وثلج وشرر ومؤثرات خلفية.

الرسوميات ثنائية الأبعاد والتوليدية

• PixiJS — رسوميات ثنائية الأبعاد على GPU. تتعامل مع أعداد كبيرة من السبرايتات دون فقدان في السرعة.
• p5.js — مرئيات توليدية وبرمجة إبداعية.
• Paper.js — مسارات متجهة والعمليات عليها.
• Matter.js — فيزياء ثنائية الأبعاد: تصادمات وجاذبية وأجسام ساقطة.

ثلاثي الأبعاد

• Three.js — المكتبة الأساسية للمشاهد ثلاثية الأبعاد في المتصفح.
• Rapier — محرك فيزيائي للأبعاد الثلاثة.
• OGL — غلاف خفيف جدًا فوق WebGL لمن يكتبون شيدرز خاصة بهم.
• glTF Transform — تحسين النماذج ثلاثية الأبعاد: ضغط وتقليل الحجم وتنظيف الأصول.

الصوت والترجمة النصية

• Chatterbox — نموذج مفتوح للتعليق الصوتي، يحوّل النص إلى صوت معلّق.
• Tone.js — مركّبات صوتية ومؤثرات صوتية في المتصفح.
• faster-whisper — تنفيذ سريع لـ Whisper، يحوّل الكلام إلى ترجمة نصية بعلامات زمنية.

كيف يُبنى خط الإنتاج وأين يتعثر

المخطط العملي يبدو كالتالي. يتلقى الوكيل الموجز ويكتب السيناريو. يحوّله Chatterbox إلى صوت، ويعيد faster-whisper توقيتات الكلمات، ثم يرتّب Remotion أو HyperFrames المشاهد وفق هذه التوقيتات. وتأتي الرسوميات والفيزياء من Three.js وRapier وMatter.js وPixiJS، وتؤخذ الانتقالات من GL Transitions، ويدمج FFmpeg كل ذلك في ملف mp4. وإذا لزم تعديل يدوي، يُفتح الملف في OpenCut.

ثمة حدود أيضًا. فالرندرة ثلاثية الأبعاد الثقيلة تجري ببطء على جهاز ضعيف. ولدى المكتبات تراخيص مختلفة، وينبغي التحقق من الشروط مسبقًا إذا كان المقطع تجاريًا. أما نماذج الصوت مثل Chatterbox فتتطلب حذرًا عند استنساخ أصوات الآخرين.

ويصوغ أصحاب المجموعة القيد الرئيسي بأنفسهم: المكتبات لن تبتكر ما يجب تصويره. تبقى الفكرة والحبكة والذوق من شأن الإنسان، وهذه الطبقة هي التي تحدد الآن جودة المقطع.