كيف يؤثر تنظيف البيانات الشخصية في وكلاء LLM: تجربة Hivetrace Dataclean

يبدو تنظيف البيانات الشخصية قبل إرسالها إلى وكيل LLM خطوة بديهية نحو الأمان، لكن كلفة هذا القرار ليست واضحة دائمًا. في مادة نُشرت على Habr AI، اختبر المؤلفون مقدار تغيّر أداء وكيل مصرفي حين يتلقى أقنعة أو أسماء مستعارة بدلًا من الأسماء الحقيقية وغيرها من المعرّفات.

أين ينشأ التعارض

يعمل وكلاء LLM بوتيرة متزايدة في سيناريوهات المستخدمين التي لا غنى فيها عن البيانات الشخصية: الطلبات المصرفية، والدعم، والتأمين، والمستندات، وسجل العمليات. وفي هذه النقطة يختار الفريق دائمًا بين خطرين. الأول تمرير البيانات الحساسة إلى النموذج كما هي، وما يتبع ذلك من أسئلة تتعلق بالخصوصية والامتثال والأمن الداخلي. والثاني تنظيف المدخلات، مع خسارة جزء من السياق الذي يعتمد عليه الوكيل في بناء منطق الإجابة، والبحث عن الكيانات المترابطة، ودقة الإجراءات.

«إلى أي حد يتراجع أداء الوكيل إذا رأى «PERSON_1» أو «XXXXXXXX» بدلًا

من «إيفانوف إيفان»؟»

عمليًا، ليس هذا جدلًا أكاديميًا بل مسألة هندسية. فإذا فقد النظام القدرة على إدراك أن العميل نفسه يرد في أكثر من موضع من الطلب، فلن تتضرر جودة النص وحدها، بل منطق العمل أيضًا: توجيه الحالة، ومطابقة بيانات الحساب، وتفسير الحالات، والتحقق من تسلسل الخطوات. لذلك لا تكفي المقولة العامة «إخفاء الهوية مفيد» أو «إخفاء الهوية يضر»، بل المطلوب جواب قابل للقياس عن فئة محددة من الوكلاء وأسلوب محدد من التنظيف.

كيف اختُبرت الفرضية

للتحقق، شغّل المؤلفون وكيلًا مصرفيًا بسيطًا وربطوه بـ Hivetrace Dataclean. ثم أرسلوا إلى الوكيل 102 طلب اصطناعي لكل حالة، بثلاثة أشكال للبيانات المدخلة: دون تغيير، ومع الإخفاء بالأقنعة، ومع الأسماء المستعارة. ويفيد هذا التصميم في أنه يزيل الضوضاء الناتجة عن قصص المستخدمين الحقيقية ويتيح مقارنة مضبوطة. ففي كل حالة يؤدي الوكيل المهمة نفسها، لكنه يرى شكلًا مختلفًا للمعرّفات والأسماء وسائر السمات الشخصية.

وتبرز أهمية منفصلة لطريقة التقييم. فقد استخدم المؤلفون DeepEval بنمط LLM-as-a-judge، أي أنهم لم يقارنوا انطباعات ذاتية عن زوج من الإجابات، بل حاولوا صياغة الجودة رسميًا عبر مسار تحقق موحّد. وهذه خطوة معقولة في بحث تطبيقي سريع: فهي لا تجعل الاستنتاجات «حقيقة مطلقة»، لكنها تتيح رؤية المواضع التي يظهر فيها التراجع فورًا، والمواضع التي يحتفظ فيها الوكيل بفائدته حتى بعد تنظيف الحقول الحساسة.

ثلاثة أنماط للبيانات

لا تقتصر فكرة التجربة على التحقق من «عمل الوكيل أو عدم عمله» بعد إخفاء الهوية، بل تمتد إلى مقارنة مستويات مختلفة من فقدان السياق. وهذا مهم بوجه خاص لأنظمة LLM التي تعتمد لا على معنى الكلمات فحسب، بل على الروابط الثابتة بين الكيانات داخل الحوار أو المستند الواحد. ويبدو القناع الكامل والاستعارة الاسمية متشابهين للنموذج للوهلة الأولى فقط، أما في المهمة الفعلية فهما إشارتان مختلفتان.

• البيانات الأصلية — السيناريو الأساسي دون أي تشويه.
• قناع مثل XXXXXXXX — أقصى قدر من الخصوصية وأدنى قدر من الدلالة.
• أسماء مستعارة مثل PERSON_1 — تُخفي الهوية لكنها تحفظ الروابط.
• 102 طلب اصطناعي لكل نمط — إمكانية مقارنة نزيهة.

وعادةً لا تخرج الفرق من اختبار كهذا بمنع شامل أو بإذن شامل، بل بخريطة للمفاضلات. فإذا كان الوكيل يحتاج فقط إلى النية العامة للمستخدم، فقد يكون القناع الصارم مقبولًا. أما إذا كان المنطق يعتمد على تكرار الكيان نفسه في عدة مقاطع، فغالبًا ما تبدو الأسماء المستعارة خيارًا أكثر عملية. ولهذا تحديدًا تفيد هذه الفحوص قبل إدخال الوكلاء إلى المصارف والتقنية المالية والطب وأي عملية تصبح فيها الأخطاء المتعلقة بالبيانات الشخصية مكلفة بسرعة.

ماذا يعني ذلك

الاستنتاج الرئيسي للمادة أن مسألة إخفاء الهوية لدى وكلاء LLM لا يصح حسمها بالحدس. فقبل الإنتاج، ينبغي قياس أثر أسلوب التنظيف المعيّن في السيناريو المعيّن على حدة: فهم الطلب، والحفاظ على الروابط بين الكيانات، والجودة النهائية للإجابة. وبالنسبة للفرق التي تبني وكلاء AI في المجالات الحساسة، لم يعد ذلك خيارًا، بل جزءًا أساسيًا من البنية ومن مسار الاختبار.