Taxbit تطلق مساعد ذكاء اصطناعي للمتخصصين الضريبيين: 55% من المستخدمين يعودون بسؤال جديد

إذا سبق لك بناء روبوت محادثة للدعم، فأنت تعرف على الأرجح كيف تسير الأمور عادة. يجيب الروبوت بثقة، ويستشهد بمصدر غير واضح، ثم يرسل المستخدم إلى صفحة لا يملك صلاحية الوصول إليها. في المجال الضريبي، قد يكون مثل هذا الخطأ مكلفا، لأن الناس يتخذون قرارات بشأن تقديم إقراراتهم. وقد شرح فريق Taxbit، وهي منصة للمحاسبة الضريبية مخصصة لبورصات العملات المشفرة والوسطاء، كيف بنى مساعد Assist الذي يمكن الوثوق به في بيئة خاضعة للتنظيم.

المتطلبات التي شكلت البنية المعمارية

يخضع المساعد لأربعة قيود صارمة. يجب أن تستشهد كل إجابة بمصدر يستطيع المستخدم فتحه، وإذا لم تتوفر إجابة فعلى الروبوت أن يصرح بذلك. ويراعي الروبوت الدور والمؤسسة: فلا يجوز إرسال موظف دعم إلى مسار مخصص للمسؤولين. كما أنه لا يقدم مشورة ضريبية؛ إذ يمكنه شرح كيفية احتساب Taxbit للتكلفة الأساسية، لكنه لا يستطيع التوصية بالطريقة التي ينبغي اختيارها. وأخيرا، يجب أن تبقى البيانات داخل منطقتها.

يعمل الوكيل باستخدام Strands Agents SDK داخل AgentCore Runtime. وهو تطبيق Python صغير يتكون من موجه نظام، ونموذج، وثماني أدوات محددة النطاق. تشمل هذه الأدوات البحث في قاعدة المعرفة، وعمليتي تحقق من صلاحيات الوصول، وأربع أدوات للعمل مع تذاكر الدعم. ولا يملك الوكيل أي وصول إلى البيانات الضريبية للعملاء على الإطلاق.

القرار الأمني الأساسي هو أن النموذج لا يتعامل مع الهوية. يأتي البريد الإلكتروني ومعرف المؤسسة والدور من خدمة موثوقة، وتدمج هذه البيانات في الأدوات عبر إغلاق برمجي. يستطيع النموذج أن يقرر ما إذا كان سيتحقق من الصلاحيات، لكنه لا يستطيع اختيار هوية الشخص الذي سيتحقق من صلاحياته. كما تعقم مدخلات المستخدم حتى لا يتمكن حقن الموجهات من تزوير السياق الموثوق.

أين تحقق التحسن الفعلي في الجودة

خصص الفريق معظم جهوده لقاعدة المعرفة: Amazon Bedrock Knowledge Bases فوق S3 Vectors، مع تضمينات Cohere Embed English v3. وتوجد ثلاثة مصادر للبيانات: الموقع العام الذي يضم الوثائق ومركز المساعدة، والوثائق المولدة من الشفرة المصدرية للمنتج، والمقالات المكتوبة يدويا.

جاء أول مكسب غير متوقع من تنظيف مجموعة المحتوى. كانت خريطة الموقع تضم نحو 400 عنوان URL، لكن نحو 70 فقط كانت مناسبة للإجابات. وكانت أكثر من 300 صفحة ضمن /blogs/ مواد تسويقية تنافس مركز المساعدة على أن تكون مصدر الإجابات عن أسئلة الامتثال. استغرق استبعاد المدونة دقائق ولم يتطلب أي عمل على النموذج.

أما المكسب الثاني والأقوى فجاء من التقسيم السياقي. فالمقطع المأخوذ من منتصف مستند يفقد المعلومات التي توضح موضوعه. ومن الخطير إرجاع فقرة عن القواعد الخاصة بأنظمة الإبلاغ غير الأمريكية ردا على سؤال عن نموذج IRS 1099. لذلك تضيف دالة Lambda، في مرحلة POST_CHUNKING، عنوان H1 للمستند وفقرة تمهيدية بحجم نحو 128 توكنا إلى كل مقطع. وحدد حجم متن المقطع عند 384 توكنا حتى يتسع المحتوى كله داخل نافذة نموذج التضمين البالغة 512 توكنا. وأظهر فحص على بيئة الإنتاج أن نحو 28% من المقاطع كان طولها بين 385 و512 توكنا، ما يعني أن نهاياتها كانت ستقتطع بصمت.

صمم البحث على هيئة قمع: 75 مرشحا من البحث المتجهي، ثم إعادة ترتيب باستخدام Cohere Rerank 3.5 ضمن استدعاء Retrieve نفسه، ثم اختيار أفضل 12 نتيجة، وبحد أقصى مقطعين لكل مستند، وإرسال أفضل خمسة إلى النموذج. ويعد هذا التجمع الواسع ضروريا لأن المقالات المطلوبة غالبا ما تظهر في المراكز من 20 إلى 50 ضمن نتائج البحث المتجهي، ولا تصعد إلا بعد إعادة الترتيب. ولا يسمح بالاستشهاد إلا بالمصادر العامة، وهذه القاعدة مثبتة في الشفرة لا في الموجه.

الأمن ومراقبة الجودة

يفحص Bedrock Guardrails كل رسالة واردة عبر استدعاء ApplyGuardrail منفصل يقتصر على الرسالة الحالية. وتحظر كلمات المرور ورموز CVV ومفاتيح الخدمات السحابية. أما أرقام SSN وITIN والتفاصيل المصرفية وأرقام IBAN فتخفى في موضعها، بحيث يساعد الوكيل في العملية من دون رؤية القيم نفسها. وبالنسبة إلى سجل المحادثة، من الضروري أن يأتي actor ID من الخدمة المستدعية: إذ تعمل بيئة التشغيل تحت دور خدمة واحد، ولولا ذلك لتجمع سجل جميع المستخدمين في قسم واحد.

تقاس الجودة على حركة الاستخدام الفعلية من دون تعطيل الإجابات. تأخذ تقييمات AgentCore عبر الإنترنت عينة من 10% من الجلسات وتقيمها بواسطة ستة حكام LLM مدمجين: الفائدة، والضرر، والترابط، واتباع التعليمات، واختيار الأدوات، ودقة معلماتها. وتعمل فوق ذلك أدوات تقييم خاصة: واحدة لقياس faithfulness، أي الأمانة للمصادر، وأخرى لقياس relevance، أي مدى صلة النتائج المسترجعة. وقد فصل الفريق بينهما عمدا؛ فقد تكون الإجابة أمينة لمصادر لم يكن ينبغي استرجاعها أصلا، وعندها يكون الخلل في البحث لا في النموذج. ويراقب مصنف منفصل ما إذا كانت الإجابة تنزلق إلى تقديم مشورة ضريبية.

ما الذي يمكن استخلاصه من ذلك

أولا: نظف مجموعة المحتوى قبل ضبط النموذج. فالصفحات التسويقية داخل الفهرس تفسد الإجابات أكثر من أي موجه. ثانيا: إذا كان المقطع لا يعرف السياق الذي ينتمي إليه، فأضف إليه عنوانا ونطاق تطبيق. ثالثا: أبق كل ما يتعلق بالصلاحيات والهوية خارج نطاق قرارات النموذج. رابعا: افصل مقاييس البحث عن مقاييس التوليد، وإلا فستصلح المكون الخطأ.

ويجب أيضا أخذ القيود في الحسبان. فنسبة 55% للأسئلة اللاحقة مأخوذة من تحليلات Taxbit الداخلية، وهي مؤشر على التفاعل لا على الدقة. كما أن الحل مرتبط بقوة بحزمة AWS. ولا يقرأ الوكيل حاليا أي شيء من بيانات العميل، لذلك لن يتمكن من الإجابة عن أسئلة مثل «لماذا جاءت نتيجة حسابي بهذا الشكل؟». لكن بوصفه نموذجا لمساعد ذكاء اصطناعي في أي مجال خاضع للتنظيم، سواء كان التمويل أو الطب أو القانون، فإن هذا التحليل عملي للغاية.