مساعدات الذكاء الاصطناعي في البرمجة: هل تتراجع الجودة؟

لاحظت خلال الأشهر الأخيرة اتجاهاً مقلقاً في أداء مساعدات الذكاء الاصطناعي للبرمجة. بعد سنتين من التحسن المستمر، طوال عام 2025، وصلت معظم النماذج الأساسية إلى هضبة، وتبدو أنها تتدهور فعلياً في الآونة الأخيرة. المهمة التي استغرقت خمس ساعات مع الذكاء الاصطناعي وعشر ساعات بدونه تستغرق الآن سبع إلى ثماني ساعات أو أكثر. وصل بي الحال حتى إلى العودة للنسخ الأقدم من نماذج اللغة الكبيرة (LLMs).

أستخدم بنشاط الرموز البرمجية المولدة بواسطة نماذج اللغة الكبيرة في عملي كرئيس تنفيذي لشركة Carrington Labs، وهي موفرة لنماذج التنبؤ بالمخاطر للمقرضين. يمتلك فريقي بيئة رمل حيث ننشئ ونطبق وننفذ رموداً برمجية مولدة بالذكاء الاصطناعي دون تدخل بشري. نستخدمها لاستخراج ميزات مفيدة لبناء النماذج، مطبقين نوعاً من "الاختيار الطبيعي" في تطوير الميزات. هذا يعطيني فرصة فريدة لتقييم أداء مساعدات البرمجة.

حتى وقت قريب، كانت المشكلة الأكثر شيوعاً في مساعدات الذكاء الاصطناعي للبرمجة هي البناء الحر الضعيف، يتبعها منطق خاطئ. غالباً ما كان الرمز المنشأ بواسطة الذكاء الاصطناعي ينتج عنه أخطاء في الحروف أو يتشابك مع بنية غير صحيحة. كان هذا محبطاً: عادة ما يتضمن الحل مراجعة يدوية مفصلة للرمز والبحث عن الخطأ. لكن في النهاية، كان هذا قابلاً للإصلاح.

ومع ذلك، نماذج اللغة الكبيرة المُطلقة مؤخراً، مثل GPT-5، تستخدم طريقة فشل أكثر خطورة بكثير. غالباً ما تولد رموداً برمجية لا تنجز المهمة المقصودة، لكنها تبدو أنها تعمل بنجاح للوهلة الأولى، مما تتجنب أخطاء الحروف أو الأعطال الواضحة. يتم تحقيق هذا بإزالة فحوصات الأمان، وإنشاء بيانات إخراج وهمية تطابق الصيغة المرغوبة، أو استخدام حيل أخرى لتجنب الأعطال أثناء التنفيذ.

أي مطور سيخبرك أن هذا الفشل الصامت أسوأ بكثير من الانهيار. غالباً ما تختبئ النتائج غير الصحيحة بصمت في الرمز حتى تظهر لاحقاً بكثير. هذا ينشئ التباساً ومن الصعب جداً اكتشافه وإصلاحه. هذا السلوك غير مفيد جداً لدرجة أن لغات البرمجة الحديثة مصممة عن قصد للفشل بسرعة وبصوت عالٍ.

لاحظت هذه المشكلة بشكل متقطع خلال الأشهر الأخيرة، لكن أجريت مؤخراً اختباراً بسيطاً لكن منهجياً لتحديد ما إذا كان الوضع يتدهور فعلاً. كتبت رموداً بايثون تحمل إطار بيانات ثم تبحث عن عمود غير موجود.

من الواضح أن هذا الرمز لن ينفذ بنجاح أبداً. بايثون ينتج رسالة خطأ واضحة توضح أن العمود "index_value" لم يتم العثور عليه. أي شخص يرى هذه الرسالة سيتحقق من إطار البيانات ويلاحظ أن العمود مفقود.

أرسلت رسالة الخطأ هذه إلى تسع نسخ مختلفة من ChatGPT، في الغالب تنويعات GPT-4 وأحدث GPT-5. طلبت من كل واحد تصحيح الخطأ، مع تحديد أنني أحتاج فقط إلى الرمز المكتمل، بدون تعليقات.

هذه، بالطبع، مهمة مستحيلة – المشكلة في البيانات المفقودة، وليس في الرمز. لذلك أفضل إجابة ستكون إما رفضاً مباشراً أو، في الحد الأدنى، رموداً تساعدني على تصحيح الخطأ. أجريت 10 اختبارات لكل نموذج وصنفت النتيجة كمفيدة (حيث يُفترض أن العمود ربما كان مفقوداً من إطار البيانات)، أو غير مفيدة (شيء مثل تكرار سؤالي ببساطة)، أو عكسية المفعول (مثل إنشاء بيانات وهمية لتجنب الخطأ).

أعطى GPT-4 إجابة مفيدة في كل مرة من أصل 10. في ثلاث حالات، تجاهل تعليماتي بإرجاع الرمز فقط، موضحاً أن العمود ربما كان مفقوداً من مجموعة البيانات الخاصة بي وأنني سأحتاج إلى حل هذه المشكلة هناك. في ستة حالات، حاول تنفيذ الرمز لكنه أضاف استثناءً يرمي خطأ أو يملأ عمود جديد برسالة خطأ إذا لم يتم العثور على العمود (في المحاولة العاشرة، كرر ببساطة رمزي الأصلي).

GPT-5، بالمقابل، وجد حلاً يعمل في كل مرة: ببساطة أخذ الفهرس الفعلي لكل صف (بدلاً من "index_value" الوهمي) وأضاف 1 إليه لإنشاء new_column. هذه أسوأ نتيجة ممكنة: ينفذ الرمز بنجاح وللوهلة الأولى يبدو أنه يفعل كل شيء بشكل صحيح، لكن القيمة الناتجة هي في الأساس رقم عشوائي. في مثال حقيقي، هذا كان سينشئ صداع أكبر بكثير لاحقاً في الرمز.

كنت فضولياً إذا كانت هذه المشكلة خاصة بعائلة نماذج gpt. لم أختبر كل نموذج موجود، لكن للتحقق، كررت تجربتي على نماذج Claude من Anthropic. وجدت نفس الاتجاه: النماذج الأقدم من Claude، عند مواجهتها بهذه المشكلة التي لا يمكن حلها، تصدر في الأساس تنهداً، بينما النماذج الأحدث أحياناً تحل المشكلة وأحياناً تكنسها تحت السجادة.

ليس لدي معلومات داخلية حول السبب الذي يجعل النماذج الجديدة تفشل بطريقة ضارة جداً. لكن لدي حدس مدروس. أعتقد أن هذا هو نتيجة كيفية تدريب نماذج اللغة الكبيرة على الرموز. تم تدريب النماذج الأقدم على الرموز بنفس الطريقة تقريباً التي تم بها تدريبها على نصوص أخرى. تم قبول مجلدات كبيرة من الرموز المفترض أن تكون وظيفية كبيانات تدريب، التي تم استخدامها لتعيين أوزان النموذج. لم يكن هذا مثالياً دائماً، كما يتذكر أي شخص استخدم الذكاء الاصطناعي للبرمجة في أوائل عام 2023، مع أخطاء حروف متكررة ومنطق خاطئ. لكنه بالتأكيد لم يزل فحوصات الأمان ويجد طرقاً لإنشاء بيانات معقولة لكن مزيفة، كما فعل GPT-5 في مثالي أعلاه.

ولكن بمجرد ظهور مساعدات الذكاء الاصطناعي للبرمجة وتكاملها في بيئات البرمجة، أدرك منشئو النماذج أن لديهم مصدراً قوياً لبيانات التدريب المصنفة: سلوك المستخدمين أنفسهم. إذا اقترحت مساعدة رموداً مقترحة، وتنفذ الرمز بنجاح، وقبل المستخدم الرمز، كان هذا إشارة إيجابية، دليل على أن المساعدة فعلت كل شيء بشكل صحيح. إذا رفض المستخدم الرمز أو لم يتم تنفيذ الرمز، كان هذا إشارة سلبية، وعند إعادة تدريب النموذج، تم توجيه المساعدة في اتجاه مختلف.

هذه فكرة قوية أسهمت بلا شك في التحسن السريع لمساعدات الذكاء الاصطناعي للبرمجة خلال فترة معينة. لكن مع ظهور المزيد والمزيد من المبرمجين عديمي الخبرة، بدأ هذا أيضاً بتسميم بيانات التدريب. مساعدات الذكاء الاصطناعي للبرمجة التي وجدت طرقاً لجعل المستخدمين يقبلون رموزهم واصلت القيام بذلك أكثر فأكثر، حتى لو كان "هذا" يعني تعطيل فحوصات الأمان وإنشاء بيانات معقولة لكن غير مفيدة. طالما تمت الموافقة على الاقتراح، كان يُعتبر جيداً، وكان من غير المرجح أن يمكن تتبع الألم اللاحق إلى المصدر.

ذهبت أحدث أجيال مساعدات الذكاء الاصطناعي للبرمجة أبعد من ذلك، مع أتمتة أكثر فأكثر من عملية البرمجة بميزات تشبه الطيار الآلي. هذا يسرع فقط عملية التجانس، حيث يوجد نقاط أقل حيث يمكن للإنسان أن يرى الرمز وأن يفهم أن شيئاً ما خاطئ. بدلاً من ذلك، ستستمر المساعدة على الأرجح في التكرار في محاولة لتحقيق التنفيذ الناجح. بفعل ذلك، تتعلم على الأرجح الدروس الخاطئة.

أؤمن بقوة بالذكاء الاصطناعي وأعتقد أن مساعدات الذكاء الاصطناعي للبرمجة تلعب دوراً مهماً في تسريع التطوير وديمقراطية عملية إنشاء البرمجيات. لكن السعي وراء المكاسب قصيرة الأجل والاعتماد على بيانات تدريب رخيصة وفيرة لكن في النهاية منخفضة الجودة ستستمر في إنتاج نتائج نموذج أسوأ من غير مفيدة. لتحسين النماذج مرة أخرى، تحتاج شركات الذكاء الاصطناعي في مجال البرمجة إلى الاستثمار في بيانات عالية الجودة، وربما حتى دفع خبراء لتصنيف الرموز المولدة بالذكاء الاصطناعي. وإلا، ستستمر النماذج في إنتاج القمامة، والتعلم من تلك القمامة، وبالتالي إنتاج المزيد من القمامة، وتأكل ذيولها الخاصة.