ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHacker News AI→ المصدر

Anthropic تكشف كيف تتحقق من الشيفرة التي يكتب Claude Code 90% منها

حين يكتب الوكيل نحو 90% من الشيفرة، يصبح من غير الواقعي قراءة كل فرق (diff) يدويًا، لذا يبني فريق Claude Code عملية التحقق كنظام مستقل. وأهم أداة فيه هي الاختبارات الشاملة: يشغّل الوكيل التطبيق بنفسه ويمرّ بسيناريو المستخدم. وفي اختبار داخلي رفع وكيل مراجِع منفصل يعمل بقائمة تحقق نسبة نجاح المهام بمقدار 10 نقاط. والخلاصة: امنح الوكيل وسيلة لإثبات نتيجته، وعندها يمكنك تشغيل عشرات النسخ بالتوازي.

معالج بواسطة الذكاء الاصطناعي من Hacker News AI؛ بتحرير Hamidun News
Anthropic تكشف كيف تتحقق من الشيفرة التي يكتب Claude Code 90% منها
المصدر: Hacker News AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHacker News AI ↗
رئيس التحرير
حقيقة رئيسية #1يتوقف الوكيل ويستدعي إنسانًا إذا فشل الفحص ثلاث مرات متتالية
حقيقة رئيسية #2تُقرأ قواعد الفحص من الفرع الرئيسي، لا من طلب الدمج (pull request) نفسه
قائمة تحقق من 39 بندًاينطبق منها على كل فرق عادةً من 3 إلى 10

إذا كان الوكلاء يكتبون معظم الشيفرة تقريبًا، فإن عنق الزجاجة لا يكون في التوليد بل في التحقق. في فريق Claude Code يولّد Claude نفسه نحو 90% من الشيفرة، وقد شرحت Anthropic كيف تُضبط الجودة بهذا الحجم. فمن دون تحقق موثوق لا يمكنك إدارة أكثر من وكيل أو اثنين، لأن عليك مراجعة كل شيء بنفسك. أما مع التحقق الموثوق فيمكن تشغيل عشرات الوكلاء، بل مئاتهم، بالتوازي.

وإليكم رقمًا من الاختبارات الداخلية: عند توليد ملفات مهيكلة، كان وكيل مراجِع منفصل يطابق عمل Claude مع قائمة معايير. وقد رفع ذلك نسبة المهام المنجزة بنجاح بمقدار 10 نقاط مقارنة بالحلقة المعتادة «موجّه — إجابة». وكانت المهام الأصعب هي الأكثر استفادة.

ثلاثة أنواع من الاختبارات تستحق الاستثمار

إذا كان لا بد من اختيار نوع واحد، ينصح الفريق بالاختبارات الشاملة (end-to-end). فهي تصف مسار المستخدم الفعلي: أضاف سلعة إلى السلة، وأتمّ الطلب، ورأى صفحة التأكيد. ومن الصعب خداع اختبار كهذا: فالميزة إما تعمل كاملة وإما لا تعمل. فاختبار الوحدة يعطيك رسالة «Timeout after 30 seconds»، أما الاختبار الشامل فقد يعرض لقطة شاشة مع وصف لما تعطّل. اختبارات الوحدة أسرع وأكثر استقرارًا، لكن يمكن اجتيازها مع كسر الوظيفة فعليًا، لأن لا الوكيل ولا الاختبار يرى المهمة بكاملها.

النوع الثاني هو اختبارات الخصائص (property tests). فأنت تصوغ ادعاءً لا يجوز أن يُنتهك، وتولّد المكتبة آلاف المدخلات محاولةً نقضه. ومن الأمثلة: إذا رمّزت البيانات ثم فككتها عادت القيمة الأصلية؛ ولا ينزل رصيد الحساب تحت الصفر أبدًا؛ وإعادة تنفيذ الترحيل (migration) تعطي النتيجة نفسها التي أعطاها التنفيذ الأول؛ والشيفرة المحسَّنة تطابق نسخة بسيطة لكنها صحيحة يقينًا. تلتقط هذه الاختبارات حالات حدّية لم يكن الوكيل ليخترعها بنفسه، لأنها لا تنشأ بالانحياز نفسه الذي نشأت به الشيفرة الأصلية.

النوع الثالث هو الاختبارات التفاضلية. فتُشغَّل النسختان القديمة والجديدة من النظام على مدخلات متطابقة وتُقارَن النتائج. وأي اختلاف هو إما خطأ برمجي (bug) وإما تغيير يجب اعتماده صراحةً. ويناسب هذا الأسلوب عمليات إعادة الكتابة، حيث ينبغي أن يبقى السلوك على حاله. والأفضل أن تكون المدخلات عشوائية أو مأخوذة من عينة من حركة المرور الفعلية، وأن تُطبَّع الفروق غير المؤثرة كالمسافات، وأن تُحفظ الاختلافات المسموحة في قائمة.

وثمة تحذير خاص: الاختبارات غير المستقرة تعلّم الوكيل أن يعيد تشغيل الفحص بدل أن يصلح الشيفرة. أما الاختبارات البطيئة فتدفع إلى تشغيلها بوتيرة أقل وتصعّب العثور على السبب.

كيف يعمل ذلك داخل الفريق

التحقق هو تشغيل التغيير فعليًا. ولهذا تُنشأ في المستودع مهارة (skill) باسم verify في المجلد .claude/skills/، قريبًا من الشيفرة المعنية. وتصف المهارة كيف يُشغَّل التطبيق أو المحاكي، ويستخدمها Claude قبل الإيداع (commit). وللويب يُوصَل امتداد Chrome، وللهواتف MCP لنظام iOS أو Android، ولسطح المكتب computer use، وللخلفية (backend) التشغيل المحلي للخدمة.

ويُستدعى الإنسان عند إشارة الفشل: إذا لم ينجح الفحص بعد ثلاث جولات من الإصلاح، يتوقف Claude ويحوّل المهمة إلى البشر. ويكتب أصحاب الشيفرة الفحوصات بأنفسهم، وعند استدعاء المراجِع يشرح الفحص السبب كي لا يضطر أحد إلى استنتاجه من الفرق.

وهناك قائمة تحقق للموثوقية من 39 بندًا. لكل بند مُحفِّز يُقرأ من الفرق، والفحص نفسه، وروابط إلى الحوادث السابقة. ويطّلع Claude على الفرق ويطبّق البنود المناسبة فقط، وهي عادةً من 3 إلى 10.

والقاعدة الأساسية للحماية: ألا يغيّر التعديل الفحص الذي يحكم عليه. فـ Code Review يقرأ REVIEW.md من الفرع الأساسي، لا من طلب الدمج. ونتيجة المراجعة صالحة فقط للإيداع المحدد الذي جرت عليه.

ويُطلَق «بوابة» الإيداعات الجديدة تدريجيًا بالأوضاع off ثم observe ثم enforce. ففي وضع observe تكتفي بتسجيل ما كانت ستحظره، لتُحلَّل الإنذارات الكاذبة. وفي وضع enforce تحظر الإيداع الذي لا يسبقه /code-review أو /verify، لكنها بعد حظرين في الجلسة الواحدة تسمح بالإيداع التالي حتى لا يعلق الوكيل. ويُوسَم كل إيداع بطريقة التحقق منه، بما في ذلك «none».

التحقق من المتحققين أنفسهم

يتابع الفريق عدد التغييرات المدمجة التي جرى التراجع عنها، وعدد ما رفضه المشرف على المشروع (maintainer)، ويقارن ذلك بعينة نظيفة بالحجم نفسه. ولتقييم المراجِع تُجمَّع مجموعة اختبار من الحوادث السابقة: يُستعاد المستودع إلى لحظة المراجعة ويُطلب جواب من جملة واحدة عن موضع الخطأ. ولا تُمنح الدرجات إلا عن الوصف الصحيح. وتُفصل عينة الضبط عن عينة الاختبار، ويُحتسب الاستقصاء الشامل على حدة للنتائج الخام، وبعد التحقق، وفي النهاية، لمعرفة ما إذا كانت أخطاء سبق العثور عليها تضيع. وتُوسم النتائج بـ Important أو Nit أو Pre-existing.

وتولد القواعد الجديدة من طريقين: من تعليقات المراجعة المتكررة وحالات التراجع (طلبا دمج على الأقل، وثلاثة وكلاء يحاولون نقضها، وإنسان يعتمدها)، ومن إعادة تشغيل ثلاثة باحثين عن الأخطاء على طلب دمج معروف حادثته. أما الاختبارات غير المستقرة فلا يجوز لـ Claude تجاوزها ولا إضافة فترات انتظار ولا إعادة تشغيلها حتى تصبح خضراء: فإذا لم يُعثر على السبب حُذف الاختبار مع تسجيل السبب.

ما الذي يمكن أخذه

هذا وصف لممارسة فريق واحد، لا دراسة مستقلة: فرقم +10 نقاط مأخوذ من اختبارات داخلية. لكن مجموعة الأساليب عامة: اجعل التحقق سريعًا ومستقرًا، وأغلقه أمام تعديلات التغيير الخاضع له، وقيّمه على أخطاء حقيقية، ونظّف القواعد بانتظام. عندها ينتقل عملك من قراءة كل فرق إلى تحديد معنى «منجَز» ومراجعة الأدلة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ثلاثة أنواع من الاختبارات تستحق الاستثمار؟

إذا كان لا بد من اختيار نوع واحد، ينصح الفريق بالاختبارات الشاملة (end-to-end). فهي تصف مسار المستخدم الفعلي: أضاف سلعة إلى السلة، وأتمّ الطلب، ورأى صفحة التأكيد. ومن الصعب خداع اختبار كهذا: فالميزة إما تعمل كاملة وإما لا تعمل. فاختبار الوحدة يعطيك رسالة «Timeout after 30 seconds»، أما الاختبار الشامل فقد يعرض لقطة شاشة مع وصف لما تعطّل. اختبارات الوحدة أسرع وأكثر استقرارًا، لكن يمكن اجتيازها مع كسر الوظيفة فعليًا، لأن لا الوكيل ولا الاختبار يرى المهمة بكاملها. النوع الثاني هو اختبارات الخصائص (property tests).

ما أبرز التفاصيل حول كيف يعمل ذلك داخل الفريق؟

التحقق هو تشغيل التغيير فعليًا. ولهذا تُنشأ في المستودع مهارة (skill) باسم verify في المجلد .claude/skills/، قريبًا من الشيفرة المعنية. وتصف المهارة كيف يُشغَّل التطبيق أو المحاكي، ويستخدمها Claude قبل الإيداع (commit). وللويب يُوصَل امتداد Chrome، وللهواتف MCP لنظام iOS أو Android، ولسطح المكتب computer use، وللخلفية (backend) التشغيل المحلي للخدمة. ويُستدعى الإنسان عند إشارة الفشل: إذا لم ينجح الفحص بعد ثلاث جولات من الإصلاح، يتوقف Claude ويحوّل المهمة إلى البشر.

ما أبرز التفاصيل حول التحقق من المتحققين أنفسهم؟

يتابع الفريق عدد التغييرات المدمجة التي جرى التراجع عنها، وعدد ما رفضه المشرف على المشروع (maintainer)، ويقارن ذلك بعينة نظيفة بالحجم نفسه. ولتقييم المراجِع تُجمَّع مجموعة اختبار من الحوادث السابقة: يُستعاد المستودع إلى لحظة المراجعة ويُطلب جواب من جملة واحدة عن موضع الخطأ. ولا تُمنح الدرجات إلا عن الوصف الصحيح. وتُفصل عينة الضبط عن عينة الاختبار، ويُحتسب الاستقصاء الشامل على حدة للنتائج الخام، وبعد التحقق، وفي النهاية، لمعرفة ما إذا كانت أخطاء سبق العثور عليها تضيع.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
ما رأيك؟
جارٍ تحميل التعليقات…