الفرز المثالي للبيانات في نماذج LLM: الخوارزميات في مواجهة السذاجة

كثيرون ممن حاولوا استخدام نماذج اللغة الكبيرة (LLM) لفرز البيانات، مثل اختيار أفضل عنصر من قائمة، واجهوا نتائج مخيبة للآمال. والمشكلة لا تكمن دائمًا في النموذج نفسه، بل في أسلوب الفرز. أجريت مؤخرًا تجربة قارنت فيها بين خمس طرق مختلفة للفرز على 164 منشورًا من قناتي على تيليغرام، وجاءت النتائج كاشفة إلى حد بعيد.

غالبًا ما يتبين أن الأسلوب الساذج، أي أن يُطلب من LLM ببساطة تقييم كل عنصر في القائمة ثم ترتيب العناصر بحسب التقييمات، غير فعّال. والسبب أن نماذج LLM تميل إلى أخطاء منهجية، ولا تكون دائمًا متسقة في تقييماتها. كما قد يتأثر أداؤها بترتيب العناصر في القائمة. وباختصار، نماذج LLM غير مصممة للفرز المباشر.

من الأساليب البديلة المثيرة للاهتمام التي بحثتها خوارزمية TrueSkill، التي طُوّرت في الأصل لنظام مطابقة اللاعبين في Xbox Live. تقيّم TrueSkill مهارات اللاعبين استنادًا إلى نتائج مبارياتهم، وتستخدم هذه التقييمات للتنبؤ باحتمال الفوز في المباريات المقبلة. وفي سياق فرز البيانات، يمكن استخدام TrueSkill لمقارنة عناصر القائمة بعضها ببعض وبناء ترتيب استنادًا إلى هذه المقارنات.

تعمل TrueSkill عبر نمذجة مهارة كل عنصر على شكل توزيع طبيعي. وعند مقارنة عنصرين، تحدّث الخوارزمية توزيعي مهارتيهما بحسب نتيجة المقارنة. وتتكرر هذه العملية لجميع أزواج العناصر في القائمة إلى أن تستقر توزيعات المهارات. ثم تُستخدم المتوسطات الناتجة للتوزيعات في ترتيب العناصر.

في تجربتي، أظهرت TrueSkill نتائج أفضل بكثير من الأساليب الساذجة. فقد حققت ارتباطًا أعلى بالبيانات الفعلية، وكانت أقل عرضة للأخطاء المنهجية. غير أن من المهم الإشارة إلى أن TrueSkill تتطلب عددًا كبيرًا من المقارنات لبلوغ دقة جيدة. وقد يشكّل ذلك مشكلة مع قوائم البيانات الكبيرة.

ما الاستنتاجات التي يمكن استخلاصها من هذه التجربة؟ أولًا، لا ينبغي الاعتماد على الأساليب الساذجة في فرز البيانات داخل نماذج LLM. ثانيًا، توجد خوارزميات بديلة، مثل TrueSkill، يمكنها تحسين النتائج بدرجة كبيرة. ثالثًا، يعتمد اختيار الخوارزمية المناسبة على المهمة المحددة وعلى حجم قائمة البيانات. وفي المستقبل، قد تظهر خوارزميات أكثر كفاءة لفرز البيانات في نماذج LLM، مصممة خصيصًا لهذا الغرض. وسيفتح ذلك آفاقًا جديدة لاستخدام LLM في المهام التي تتطلب ترتيبًا واختيارًا دقيقين.