Librarian Agents: نماذج LLM تجهّز مساحة العمل مسبقًا وتحقق +33 نقطة مئوية على BrowseComp-Plus

قدّم باحثون إطار Librarian Agents، وفيه يعيد وكيل LLM مسبقًا بناء مجموعة غير منظمة من المستندات على هيئة نظام ملفات هرمي، ثم يستخدمه وكيل ثانٍ للإجابة عن الأسئلة. على BrowseComp-Plus يتفوق الأسلوب على أقوى الحلول الأساسية القائمة على الاسترجاع (retrieval) والحوسبة المسبقة بمقدار 33 نقطة مئوية. وعلى اختبار BRIGHT، في مجالات لم يرها النموذج أثناء التدريب، بلغ متوسط الزيادة في الدقة 31 نقطة دون أي تدريب إضافي على المهمة.

المشكلة الأصلية مألوفة لكل من بنى وكلاء فوق مجموعات وثائقية كبيرة. فالاسترجاع الكلاسيكي تفاعلي: يصل الاستعلام، فيستخرج النظام مقاطع من النصوص، ويحاول النموذج تركيب إجابة منها. وحين يتطلب الجواب الربط بين وقائع من عدة مستندات، تصبح هذه الخطوة عنق الزجاجة. أما البنى المحسوبة مسبقًا، مثل رسوم المعرفة البيانية، فتفيد جزئيًا فقط، لأنها تُبنى بقواعد استدلالية صارمة لا تعرف أي أسئلة ستُطرح لاحقًا.

اللاتناظر الذي تقوم عليه الفكرة

ينطلق المؤلفون من ملاحظة تخص أغلفة الوكلاء الحديثة، مثل Claude Code. تتنقل هذه الوكلاء بكفاءة داخل نظام ملفات موجود أصلًا: تفتح الملفات، وتتبع الروابط، وتجمع السياق اللازم للمهمة الحالية. لكن قلّما يُدرَّب أحد منها على العكس، أي على إنشاء مساحة عمل سيستخدمها غيره لاحقًا.

يسدّ Librarian Agents هذه الفجوة. يتلقى الوكيل البنّاء المستندات الخام، ويُخرج هرمًا من الملفات الاصطناعية تربط بينها روابط. ثم تُسلَّم مساحة العمل هذه إلى الوكيل المجيب. تُصاغ عملية البناء كعملية قرار ماركوفية، وتُحسَّن سياسة البنّاء بالتعلم المعزز. وترتبط المكافأة مباشرة بدقة الإجابات النهائية للوكيل اللاحق (downstream)، لا بمقاييس وسيطة مثل جودة البحث.

ماذا أظهرت التجارب

بحسب ملخص الورقة، جاءت النتائج على النحو التالي:

• BrowseComp-Plus: +33 نقطة مئوية مقارنة بأقوى الحلول الأساسية القائمة على الاسترجاع والحوسبة المسبقة.
• BRIGHT: متوسط زيادة في الدقة قدره 31 نقطة في وضع zero-shot على مجالات غير مألوفة.
• تُوزَّع تكلفة بناء مساحة العمل على الاستعلامات المتكررة الموجهة إلى المجموعة الوثائقية نفسها.
• الجزء الذي يخضع للتدريب: سياسة البنّاء، لا الوكيل المجيب.

الأهم هنا هو قابلية النقل. فلو اكتفى البنّاء بحفظ بنية مجموعات بيانات بعينها، لفشل على BRIGHT. أما الزيادة من رقمين على مجالات جديدة، فتشير إلى أن التدريب بالتعلم المعزز أنتج أساليب عامة لتنظيم المعرفة: كيف يُجمَّع المحتوى، وما الذي يُنقل إلى ملفات ملخِّصة، وأين توضع الإحالات المتقاطعة.

وللعمل أيضًا جوانب مجهولة. فالملخص لا يتضمن أحجام النماذج، ولا التكلفة المطلقة للبناء، ولا بيانات عن سلوك مساحة العمل عند التحديث المتكرر للمجموعة الوثائقية. وينبغي البحث عن ذلك في النص الكامل للورقة.

ماذا يمكن أن تجرّب الفرق التي تبني وكلاء

يتعلق الاستنتاج العملي بالبنية المعمارية. إذا كانت المجموعة الوثائقية مستقرة نسبيًا وتتكرر الاستعلامات عليها (قاعدة معرفة داخلية، أو وثائق منتج، أو أرشيف أبحاث)، فإن إعداد المساحة مسبقًا أجدى من البحث من الصفر في كل مرة. تُقسَّم تكلفة البناء على عدد الاستعلامات، وكلما زاد عددها تحسنت الجدوى الاقتصادية.

ثانيًا: قيّموا إعداد المجموعة الوثائقية بحسب الدقة النهائية للإجابات. هذه هي المكافأة المستخدمة في الورقة، وهي تستبعد البنى الأنيقة شكلًا لكنها عديمة الفائدة. ثالثًا: اختبروا على مجالات مستبعدة من التدريب، وإلا سهل أن تظنوا أن الملاءمة المفرطة لبياناتكم دليل على الجودة. أما المجموعات التي تتغير بسرعة، فاحسبوا أولًا كلفة إعادة البناء، لأن المكسب في هذا السيناريو أقل وضوحًا.