التقطيع (Chunking)

التقطيع هو عملية تقسيم الوثائق المصدرية إلى قطع نصية أصغر قبل تضمينها وتخزينها في قاعدة بيانات متجهة، مما يمكّن الاسترجاع الكفء والدقيق في أنظمة RAG والبحث.

التقطيع هو عملية تقسيم الوثائق المصدرية الكبيرة إلى قطع نصية أصغر ذاتية الاحتواء — تسمى أجزاء — قبل تحويلها إلى تضمينات متجهة وتخزينها في قاعدة بيانات متجهة. لأن نماذج التضمين تنتج متجه واحد ذا حجم ثابت لكل مدخل ونوافذ سياق نموذج اللغة لها حدود رمزية، فإن تضمين وثيقة طويلة كاملة يضغط المعنى الدقيق إلى تمثيل واحد، مما يجعل الاسترجاع الدقيق غير عملي بدون تقسيم سابق.

يؤثر اختيار استراتيجية التقطيع بشكل كبير على جودة الاسترجاع. يقسم التقطيع ذو الحجم الثابت النص عند عدد رمزي محدد، عادة 256-1024 رمز، غالباً مع تداخل انزلاقي من 10-20٪ للحفاظ على السياق عبر حدود القطعة. يحترم التقطيع على أساس الجملة والفقرة الوحدات اللغوية الطبيعية. يحدد التقطيع الدلالي حدود التحول في الموضوع ضمن النص وينقسم هناك بدلاً من عند أعداد الأحرف العشوائية. يخزن التقطيع الهرمي تمثيلات دقيقة وخشنة من نفس المحتوى، مما يمكّن الاسترجاع على مستويات حبيبية متعددة. تعرض الأطر مثل LangChain و LlamaIndex هذه الاستراتيجيات كخيارات قابلة للتكوين مع معاملات قابلة للتعديل.

حجم الجزء ينشئ مقايضة مباشرة: الأجزاء الأصغر تعطي دقة استرجاع أعلى — النص المرجع هو ذات صلة وثيقة — لكن قد تحذف السياق المحيط الضروري؛ تعطي الأجزاء الأكبر سياق أكثر لكن تخفف من درجات الصلة عندما يتطابق فقط جزء من الجزء مع الاستعلام. هذا يجعل حجم الجزء والتداخل معاملات فائقة قابلة للضبط يحسنها الممارسون بشكل تجريبي لكل مجموعة وكل مهمة.

اعتباراً من عام 2026، أظهر التقطيع على مستوى القضية — حيث يمثل كل جزء مطالبة واقعية واحدة مستخرجة من المصدر — أداءً قويًا على معايير الاسترجاع. تظهر أدوات تحسين التقطيع الآلي كجزء من خطوط أنابيب تقييم RAG. توفر النماذج ذات نوافذ السياق التي تتجاوز مليون رمز أو أكثر لم تلغِ الحاجة إلى التقطيع، لأن القطع الدقيقة والمتماسكة دلاليًا لا تزال تتفوق على الاسترجاع غير المتمايز لكامل الوثيقة بالنسبة لمعظم أنواع الاستعلامات.