Legora ترفع نسبة الاستشهادات الصحيحة لوكيلها القانوني من 70% إلى 99%

يواجه الذكاء الاصطناعي القانوني تناقضا مزعجا. لتحسين الوكيل، من المفيد للمطورين قراءة سجلات تنفيذه: ما المستندات التي فتحها، وما الذي عثر عليه، وأين أخطأ، ولماذا اختار إجابة غير صحيحة. لكن هذه البيانات في الممارسة القانونية غالبا ما تخص عملاء المكتب، لا المكتب نفسه. ولا يستطيع فريق المنتج ببساطة فتح العقد المعني وتحليل الإخفاق يدويا.

تعالج Legora هذه المشكلة باستخدام عمليات محاكاة قابلة لإعادة الإنتاج. ينشئ ثلاثة مهندسين وثلاثة محامين بيئات عمل اصطناعية تشبه قضايا العملاء الحقيقية. ومن الأمثلة مستودع يضم 10 000 ملف، حيث يتعين على الوكيل إجراء فحص نافي للجهالة قبل الصفقة، وإعداد تقرير، وعدم إغفال المخاطر الجوهرية. وهذا نموذج مفيد خارج نطاق التقنيات القانونية بكثير: إذا كانت بيانات الإنتاج مغلقة، فينبغي إعادة إنشاء بنية العمل ومعايير النجاح والأخطاء المميزة، لا المستندات نفسها.

التقييم من دون الوصول إلى المستندات

لنتخيل خدمة تحلل آلاف عقود العمل. يمثل كل صف مستندا منفصلا، بينما تتضمن الأعمدة أسئلة مثل: مهلة الإنهاء، ونقل حقوق الملكية الفكرية، وقيمة التعويض. إن تشغيل المعالجة على مجموعة البيانات كاملة منذ البداية مكلف وخطير، لأن صياغة غير موفقة للاستعلام ستكرر الخطأ نفسه عبر آلاف الخلايا.

لذلك تعالج Tabular Review عشرة صفوف فقط في البداية. يراجع المحامي النتيجة، ويحسن الاستعلام، ثم يشغل معالجة بقية المستندات. قد يبدو ذلك أبسط مما ينبغي، لكن هذه الواجهة تحديدا هي التي تحول تجربة باستخدام نموذج إلى عملية إنتاج يمكن التحكم فيها. يرى المستخدم عينة صغيرة قبل إنفاق الميزانية والحصول على مليون إجابة قد تكون خاطئة.

تقيّم Legora الجودة بصورة منفصلة حسب الممارسات القانونية وأنواع المهام. وتُعرض النتائج في صورة خريطة حرارية: فقد يكون النموذج الجديد أفضل في البحث عن الأحكام القضائية، لكنه أسوأ في تحرير العقود. ولا تكفي هنا درجة واحدة. والخلاصة المباشرة لأي فريق يبني وكيلا متخصصا هي: قارنوا النماذج ضمن سيناريوهات عمل محددة، لا استنادا إلى السمعة العامة أو اختبار معياري مجمع واحد.

تحويل الأخطاء إلى فهرس

في بيئة الإنتاج، تصنف Legora الأعطال ضمن 10 إلى 20 نوعا معروفا، وتشغل عمليات تحقق منخفضة التكلفة باستخدام نماذج LLM خلف أعلام الميزات. لا يضمن ذلك انعدام الأخطاء، لكنه يجعل الجودة قابلة للرصد. وبدلا من الرسالة المبهمة «الوكيل يخطئ أحيانا»، يحصل الفريق على فئة محددة: إغفال تحفظ، أو استنتاج لا تدعمه المصدر، أو استشهاد يشير إلى مقطع غير صحيح، أو إجابة لا تلتزم بالتنسيق المطلوب.

وتعد آلية الاستشهاد دالة بوجه خاص. إذ يرتبط كل استنتاج يقدمه الوكيل بمنطقة محددة من ملف PDF الأصلي، حتى يتمكن المحامي من فتح المقطع المؤيد له. ووفقا للمدير التقني في Legora، ارتفعت نسبة الاستشهادات الصحيحة بعد أحد تحديثات النموذج من نحو 70% إلى 99%. إلا أن هذه الواقعة تكشف أيضا أحد القيود: فجزء من الجودة يعتمد على مزود النموذج الخارجي، وقد يتغير مع الإصدار التالي. ولذلك يجب تقييم كل إصدار جديد، حتى إذا كان يُعد أقوى.

ما ينبغي نقله إلى منتجك

لا تبدأ باختيار النموذج «الأذكى». أعد أولا قائمة بالمهام الحقيقية، وأنشئ لها مجموعة تقييمات خاصة، وحدد الأخطاء المقبولة. وإذا تعذر استخدام المستندات، فأنشئ بدائل اصطناعية بالتعاون مع متخصصين في المجال. ولا تقيّم الإجابة النهائية وحدها، بل تحقق أيضا من الإحالات إلى المصادر، واكتمال المعالجة، والاستقرار عند التعامل مع مجموعات كبيرة.

بالنسبة إلى العمليات واسعة النطاق، أضف تشغيلا أوليا على عينة صغيرة. وعند كل تحديث، حلل النتائج حسب المهمة: أين تحسنت الجودة، وأين تراجعت، وكم تكلف النسب الإضافية من الدقة، وكيف تغير زمن الاستجابة. وحول الأعطال المعروفة إلى عمليات تحقق آلية مستقلة.

لا تكمن الفكرة الرئيسية لدى Legora في التخصص القانوني، بل في أن السرية لا تلغي قابلية القياس. فإذا تعذر الاطلاع على سجلات تنفيذ المستخدمين، سيتعين على الفريق نمذجة عمل العميل بدقة أكبر. وهذا أكثر تكلفة من مجرد مراجعة السجلات، لكنه ينشئ أصلا يبقى داخل الشركة: نظام تقييم خاص بها، وفهرسا للأخطاء، وحدا واضحا للجودة قبل إطلاق الوكيل في بيئة الإنتاج.