OpenAI تكشف BioBasicsBench: GPT-6 Astra يحقق 66.7% في تحليل بيانات المختبر الرطب

إذا كنت تبني وكيل ذكاء اصطناعي للعلوم، فالسؤال الرئيسي ليس ما إذا كان يستطيع تلخيص المقالات. المهم هو أن ينظر إلى صورة ضبابية لجيل أو لطبق مستعمرات ويقول بصدق: «لا يمكن استخلاص نتيجة من هذا». وهذا بالضبط ما يختبره المعيار الجديد من OpenAI، BioBasicsBench، الذي أُعدّ بالتعاون مع شركة التقنية الحيوية Ligo.

محتوى المعيار

تضم المجموعة 100 مهمة في خمسة مجالات من العمل المخبري الروتيني: طرق البروتينات، والتصوير وقياس الخلايا التدفقي (السيتومتري)، والمقايسات الكمية، والعمل على الأحماض النووية، والاستنساخ الجزيئي. البيانات خام: جيلات وبقع (blots)، وصور أطباق، وحزم صور مجهرية، وملفات FASTQ، ومخرجات قارئات الصفائح، وحتى مقاطع فيديو للعمل على طاولة المختبر.

كتب المهام علماء اعتمادًا على بيانات تجاربهم الخاصة. وراجع كل مهمة مراجع داخلي من Ligo، ثم مختص خارجي بمستوى PhD، ثم الفريق مرة أخرى. تُقيَّم الإجابات وفق معيار خبراء: تُمنح الدرجات على كل بند على حدة، ولذلك يختلف الاستنتاج الصحيح مع استدلال ضعيف عن الإجابة الصحيحة تمامًا. ويتحقق جزء من البنود مما إذا كان الوكيل أدرك أن البيانات غير كافية.

جرى تقييم سبعة نماذج في 37 إعدادًا للاستدلال، بخمس محاولات لكل مهمة، فبلغ المجموع 18 500 نتيجة.

النتائج

عند إعداد xhigh حقق GPT-6 Astra نسبة 66.7% (فاصل الثقة 60.3–73.1%)، وGPT-6.1 Sol نسبة 62.0%، وGPT-5.6 Sol نسبة 43.8%، وGPT-6 Luna نسبة 38.3%، وGPT-5.2 نسبة 31.2%. ويستهلك Astra رموزًا (tokens) أقل، نحو 4 700 لكل مهمة مقابل 9 100 لدى Sol. وبحسب OpenAI فإن العامل الأساسي هو قدرة متعددة الوسائط أصلية أقوى: إذ يرى Astra التفاصيل في الصور بشكل أفضل.

الأمثلة واضحة. في مهمة استنساخ رأى Sol طبق ضبط فارغًا واعتبره ضابطًا جيدًا. أما Astra فقرأت على الحافة الملصق «Kan50»، أي كاناميسين بدل أمبيسيلين، ورفضت الضابط. وفي مهمة أخرى بحث Sol عن تفسير بيولوجي لاختفاء الخلايا، بينما أدرك Astra أنها حزمة z-stack، أي تصوير على أعماق مختلفة. وفي ثالثة أعلن Sol أن الخلايا ميتة بناءً على إشارة صبغة، مع أن طيف صبغة ثانية كان متداخلًا؛ وطلب Astra ضوابط إضافية.

أين لا تزال النماذج تخفق

تعرض OpenAI بصدق إخفاقات Astra أيضًا. فقد فصلت مجموعات المستعمرات على الجيل بشكل صحيح، لكنها خلطت في معنى كل مجموعة، واختارت المستعمرات 4 و6 و7 و8 بدل المستعمرات المرجعية 5 و9 و10. وتغلّب الافتراض المألوف «منتج PCR أكبر يعني استنساخًا ناجحًا» على مسارات الضبط. وفي حالة أخرى عمّمت أن الفجوات (vacuoles) أغمق من الخلية، متجاهلة فجوات فاتحة في المجال نفسه، مع أنها نفسها لاحظت أن التباين يعتمد على التركيز. وعند عدّ المستعمرات بالغت في النتيجة بنحو 12%، ما يضخّم مباشرة تقدير كفاءة التحول.

ماذا نفعل بذلك

بالنسبة للفرق التي تبني وكلاء علميين، الخلاصة عملية. أولًا، قيّموا لا الإجابة النهائية فحسب، بل القدرة على قول «البيانات غير كافية»: فهذا بند مستقل في المعيار. ثانيًا، لا تثقوا بالاختيار الآلي للعينات للخطوة التالية، مثل اختيار المستعمرات لتنقية البلازميد: فثمن الخطأ تراكمي. ثالثًا، الأفضل التحقق من عدّ الكائنات في الصور بأدوات تقليدية أو بواسطة إنسان.

كما ينبغي مراعاة القيود: المعيار صغير، 100 مهمة فقط، والفواصل واسعة نسبيًا، والتقييم أجرته OpenAI نفسها على نماذجها، دون مقارنة بنماذج مختبرات أخرى. ومع ذلك فإن هذه الصيغة، القائمة على بيانات حقيقية غير مثالية وفيها فخاخ كالملصق الخاطئ، أقرب إلى الواقع من صور منتقاة من المقالات. وهي لمديري المنتجات في التقنية الحيوية قالب جيد لتقييمهم الداخلي لوكلائهم.