LangChain تفقد محتوى التفكير في نماذج CoT: كيفية إصلاح خلل موفري LLM

واجه المطورون الذين يعملون مع نماذج CoT عبر LangChain مفاجأة غير سارة: فئات الدردشة في الإطار—ChatOpenAI و ChatDeepSeek والفئات المماثلة—لا تحافظ على كتلة محتوى التفكير في الرد النهائي. هذا يعني أن المستخدمين ينتظرون ببساطة بينما يقوم النموذج بـ"التفكير"، دون تلقي أي ملاحظات، بينما يختفي التفكير نفسه دون ترك أثر. تؤثر المشكلة على التكامل مع معظم موفري وتجميعات نماذج اللغات الكبيرة الشهيرة.

عندما ينتج نموذج بقدرات التفكير—على سبيل المثال، من عائلة DeepSeek-R1 أو step-3.5-flash من Stepfun—رداً، يتم التقاط عملية التفكير الداخلية في كتلة reasoning_content منفصلة. هذه الكتلة هي بالضبط ما يضيع: لا ChatOpenAI ولا فئات الدردشة الأخرى في LangChain تنقله إلى الأمام في سلسلة المعالجة.

لماذا هذا مهم؟ نماذج CoT (سلسلة الفكر—chain of reasoning) تم تدريبها بشكل خاص لتشكيل خطوات تفكير صريحة قبل الرد النهائي. يختار المطورون هذه النماذج بالضبط لأجل هذا الوضوح: القدرة على إظهار للمستخدم كيف وصل النموذج إلى الحل، أو استخدام الخطوات الوسيطة للمعالجة اللاحقة في خط أنابيب. عندما تضيع كتلة التفكير—تنخفض قيمة طريقة CoT.

غياب بث محتوى التفكير يؤثر بشكل مباشر على تجربة المستخدم. يرى المستخدم شاشة فارغة بينما يجري النموذج سلسلة من التفكير تمتد لمئات الرموز. يزداد وقت الرد المُدرك ذاتياً بشكل كبير، على الرغم من أن النموذج يعمل بالفعل. بالنسبة للمنتجات التي تكون فيها سرعة الاستجابة حاسمة، هذا عيب ملحوظ.

اكتشف المؤلف المشكلة عملياً أثناء العمل مع نموذج stepfun/step-3.5-flash من خلال مزود الخدمة الروسي polza.ai. ينقل المزود محتوى التفكير في التدفق، لكن LangChain لا يلتقطه ولا ينقله إلى الأمام. لم يحل أي من المجمعات المختبرة المشكلة من جانبها.

اتضح أن الحل يكمن في توسيع فئات الدردشة القياسية في LangChain. جوهر الطريقة: إعادة تعريف طريقة معالجة أجزاء البث بحيث تستخرج بشكل صريح حقل reasoning_content من رد المزود وتضيفه إلى بنية الإخراج AIMessage. بهذه الطريقة، تصبح كتلة التفكير متاحة سواء في وضع البث أو في استدعاءات النموذج العادية.

من الناحية العملية، هذا يعني إنشاء فئة دردشة مخصصة ترث من ChatOpenAI، مع إعادة تعريف طريقة _stream والمنطق الخاص بتجميع الرسالة النهائية. أثناء البث، يبدأ reasoning_content بالظهور على الفور، بالتوازي مع قيام النموذج بإنشاء التفكير—مما يحسن بشكل أساسي استجابة الواجهة.

هذه الحالة مهمة ليس فقط كحل تقني، بل أيضاً كعرض لمشكلة أوسع: الأطر ذات الأغراض العامة مثل LangChain تتكيف ببطء مع خصائص فئات النماذج الجديدة. تختلف معايير API لنقل محتوى التفكير من مزود إلى آخر، لا يوجد نهج موحد—وحتى يظهر واحد، سيتعين على المطورين إغلاق الفجوات بأنفسهم من خلال التخصيص.

بالنسبة للفرق التي تبني منتجات على نماذج CoT و LangChain، توفر الطريقة الموصوفة قالب إمتداد جاهز للاستخدام. وهو قابل للتكرار لأي مزود يعيد reasoning_content بصيغة متوافقة مع API OpenAI.