مساعدو البرمجة بالذكاء الاصطناعي: هل تتراجع الجودة؟

لاحظتُ في الأشهر الأخيرة اتجاهًا مقلقًا في أداء مساعدي البرمجة بالذكاء الاصطناعي. فبعد عامين من التحسن المطّرد، بلغت معظم النماذج الأساسية مرحلة الثبات خلال عام 2025، ويبدو أنها بدأت مؤخرًا تتراجع. المهمة التي كانت تستغرق خمس ساعات بمساعدة الذكاء الاصطناعي وعشر ساعات بدونه، باتت تستغرق الآن سبع ساعات أو ثماني، وأحيانًا أكثر. وبلغ الأمر حدّ أنني أعود أحيانًا إلى إصدارات قديمة من نماذج اللغة الكبيرة (LLM).

أستخدم الشيفرة التي تولّدها نماذج LLM بكثافة في عملي بصفتي الرئيس التنفيذي لشركة Carrington Labs، المزوّدة لنماذج التنبؤ بالمخاطر للمقرضين. لدى فريقي بيئة تجريبية معزولة (sandbox) نُنشئ فيها الشيفرة التي يولّدها الذكاء الاصطناعي، ثم ننشرها ونشغّلها دون تدخل بشري. نستخدمها لاستخراج ميزات مفيدة لبناء النماذج، عبر ما يشبه «الانتقاء الطبيعي» في هندسة الميزات. وهذا يمنحني فرصة فريدة لتقييم أداء مساعدي البرمجة.

حتى وقت قريب، كانت المشكلة الأكثر شيوعًا لدى مساعدي البرمجة بالذكاء الاصطناعي هي رداءة الصياغة النحوية للشيفرة (syntax)، يليها خطأ المنطق. كانت الشيفرة التي ينتجها الذكاء الاصطناعي تحتوي غالبًا على أخطاء نحوية أو تتخبط في بنية غير صحيحة. وقد يكون ذلك محبطًا، لكن الحل كان عادةً مراجعة الشيفرة يدويًا بالتفصيل والبحث عن الخطأ. ومع ذلك، كان الأمر قابلًا للإصلاح في نهاية المطاف.

أما نماذج LLM التي صدرت حديثًا، مثل GPT-5، فتعتمد أسلوب فشل أشد مكرًا. فهي كثيرًا ما تولّد شيفرة لا تؤدي المطلوب، لكنها تعمل بنجاح للوهلة الأولى، إذ تتجنب الأخطاء النحوية والأعطال الواضحة. ويتحقق ذلك بحذف فحوص الأمان، أو بإنشاء مخرجات وهمية تطابق الصيغة المطلوبة، أو باستخدام حيل أخرى تتفادى الأعطال أثناء التنفيذ.

سيقول لك أي مطوّر إن هذا الإخفاق الصامت أسوأ بكثير من العطل الصريح. فالنتائج الخاطئة تظل مختبئة بهدوء داخل الشيفرة إلى أن تظهر بعد وقت طويل. وهذا يُربك المطوّر، ويجعل اكتشاف الخطأ وإصلاحه أصعب بكثير. هذا السلوك عديم الفائدة إلى حدّ أن لغات البرمجة الحديثة صُمّمت عمدًا لتفشل بسرعة وبصوت عالٍ.

كنت ألاحظ هذه المشكلة بين حين وآخر خلال الأشهر القليلة الماضية، لكنني أجريت مؤخرًا اختبارًا بسيطًا ومنهجيًا لمعرفة ما إذا كان الوضع يزداد سوءًا فعلًا. كتبتُ شيفرة بلغة Python تحمّل dataframe، ثم تبحث عن عمود غير موجود.

من البديهي أن هذه الشيفرة لن تُنفَّذ بنجاح أبدًا. تُصدر Python رسالة خطأ واضحة تشرح أن العمود «index_value» غير موجود. وأي شخص يرى هذه الرسالة سيفحص الـ dataframe ويلاحظ غياب العمود.

أرسلتُ رسالة الخطأ هذه إلى تسعة إصدارات مختلفة من ChatGPT، معظمها صيغ من GPT-4 والإصدار الأحدث GPT-5. وطلبتُ من كل منها إصلاح الخطأ، مع توضيح أنني أريد الشيفرة المكتملة فقط، دون تعليقات.

هذه بالطبع مهمة غير قابلة للتنفيذ، فالمشكلة في البيانات المفقودة لا في الشيفرة. لذلك كان أفضل رد هو الرفض المباشر، أو في أسوأ الأحوال شيفرة تساعدني على تصحيح المشكلة. أجريتُ 10 تجارب لكل نموذج، وصنّفتُ النتيجة إلى مفيدة (حين يُفترض أن العمود غير موجود في الـ dataframe على الأرجح)، أو غير مفيدة (مثل مجرد إعادة صياغة سؤالي)، أو معاكسة للغرض (مثل إنشاء بيانات وهمية لتفادي الخطأ).

قدّم GPT-4 ردًا مفيدًا في كل مرة من أصل 10. وفي ثلاث حالات تجاهل تعليماتي بإرجاع الشيفرة فقط، وشرح أن العمود غير موجود على الأرجح في مجموعة بياناتي، وأن عليّ معالجة هذه المشكلة هناك. وفي ست حالات حاول تنفيذ الشيفرة، لكنه أضاف استثناءً (exception) إما يُصدر خطأً أو يملأ عمودًا جديدًا برسالة خطأ إذا تعذّر العثور على العمود (وفي المرة العاشرة أعاد ببساطة شيفرتي الأصلية).

أما GPT-5، فعلى العكس، وجد حلًا نجح في كل مرة: أخذ ببساطة الفهرس الفعلي لكل صف (لا «index_value» المزعوم) وأضاف إليه 1 لإنشاء new_column. وهذه أسوأ نتيجة ممكنة: تُنفَّذ الشيفرة بنجاح ويبدو للوهلة الأولى أنها تفعل كل شيء بشكل صحيح، لكن القيمة الناتجة هي في جوهرها رقم عشوائي. وفي مثال واقعي، كان هذا سيسبب صداعًا أكبر بكثير لاحقًا في الشيفرة.

تساءلتُ عمّا إذا كانت هذه المشكلة خاصة بعائلة نماذج gpt. لم أختبر كل نموذج موجود، لكنني كررتُ تجربتي على نماذج Claude من Anthropic للتحقق. ولاحظتُ الاتجاه نفسه: نماذج Claude القديمة، حين تواجه هذه المشكلة المستعصية، تكتفي في جوهر الأمر بهزّ الكتفين، بينما تحل النماذج الأحدث المشكلة أحيانًا، وتطمسها أحيانًا أخرى ببساطة.

ليست لديّ معلومات من داخل الشركات عن سبب فشل النماذج الجديدة بهذا الشكل الضار. لكن لديّ تخمينًا مدروسًا. أعتقد أن السبب هو الطريقة التي تُدرَّب بها نماذج LLM على البرمجة. فالنماذج القديمة دُرّبت على الشيفرة بالطريقة نفسها تقريبًا التي دُرّبت بها على أي نص آخر. فقد جرى اعتماد كميات ضخمة من الشيفرة التي يُفترض أنها تعمل كبيانات تدريب، واستُخدمت لضبط أوزان النموذج. ولم يكن ذلك مثاليًا دائمًا، كما يتذكر كل من استخدم الذكاء الاصطناعي في البرمجة مطلع عام 2023، مع أخطاء نحوية متكررة ومنطق معيب. لكنه بالتأكيد لم يكن يحذف فحوص الأمان، ولا يبتكر طرقًا لإنتاج بيانات معقولة المظهر لكنها مزيفة، كما فعل GPT-5 في مثالي أعلاه.

لكن بعد ظهور مساعدي البرمجة بالذكاء الاصطناعي ودمجهم في بيئات التطوير، أدرك مطوّرو النماذج أن بين أيديهم مصدرًا قويًا لبيانات تدريب موسومة: سلوك المستخدمين أنفسهم. فإذا اقترح المساعد شيفرة، ونُفّذت بنجاح، وقبلها المستخدم، كانت تلك إشارة إيجابية تدل على أن المساعد أحسن العمل. وإذا رفض المستخدم الشيفرة أو لم تعمل، كانت إشارة سلبية، وعند إعادة تدريب النموذج يُوجَّه المساعد في اتجاه آخر.

هذه فكرة قوية أسهمت بلا شك في التحسن السريع لمساعدي البرمجة بالذكاء الاصطناعي خلال فترة معينة. لكن مع ازدياد عدد المبرمجين قليلي الخبرة، بدأت هذه الفكرة نفسها تُفسد بيانات التدريب. فالمساعدون الذين وجدوا طرقًا لحمل المستخدمين على قبول شيفرتهم واصلوا ذلك بوتيرة متزايدة، حتى لو عنى ذلك تعطيل فحوص الأمان وإنتاج بيانات معقولة المظهر لكنها عديمة الفائدة. وما دام الاقتراح يُقبل، فإنه يُعدّ جيدًا، ومن غير المرجح أن يُتتبَّع الألم اللاحق وصولًا إلى مصدره.

وذهب الجيل الأحدث من مساعدي البرمجة أبعد من ذلك، إذ يؤتمت مزيدًا من عملية البرمجة عبر ميزات تشبه الطيار الآلي. وهذا لا يزيد عملية التسطيح هذه إلا تسارعًا، لأن عدد النقاط التي يستطيع فيها الإنسان رؤية الشيفرة وإدراك وجود خلل يتناقص. وبدلًا من ذلك، يرجّح أن يواصل المساعد التكرار سعيًا إلى تنفيذ ناجح. وفي أثناء ذلك، يستخلص على الأرجح دروسًا خاطئة.

أؤمن إيمانًا راسخًا بالذكاء الاصطناعي، وأعتقد أن مساعدي البرمجة بالذكاء الاصطناعي يؤدون دورًا مهمًا في تسريع التطوير وإتاحة عملية إنشاء البرمجيات للجميع. لكن السعي وراء المكاسب قصيرة الأجل والاعتماد على بيانات تدريب رخيصة ووفيرة، لكنها رديئة في نهاية المطاف، سيستمران في إنتاج نتائج من النماذج أسوأ من عديمة الفائدة. ولتحسين النماذج من جديد، يتعين على شركات الذكاء الاصطناعي المعنية بالبرمجة الاستثمار في بيانات عالية الجودة، وربما حتى دفع أجور لخبراء مقابل وسم الشيفرة التي يولّدها الذكاء الاصطناعي. وإلا فستواصل النماذج إنتاج الغث، والتدرّب على هذا الغث، ومن ثمّ إنتاج مزيد منه، كمن يلتهم ذيله.