اختبار 16 نموذجًا على 7 محركات بحث: Exa يحقق في المتوسط 10,5 نقطة من 14، وSearXNG نحو 3

شغّل كاتب الدراسة على Habr 16 نموذجًا عبر 7 أدوات بحث بسؤال واحد عن Bitrix24. كان على الوكيل أن يجد الكيان القانوني وبياناته التسجيلية، وإيرادات آخر سنة معروفة، والرئيس التنفيذي (CEO) ومدير التسويق (CMO)، والمنتجات والتعرفات، وتحديثات عام 2026، وندوتين عبر الإنترنت سابقتين وندوتين مقبلتين، إضافة إلى الإشارات في وسائل الإعلام خلال ستة أشهر. مُنح كل بند من البنود السبعة 0 أو 1 أو 2 من النقاط، فبلغ الحد الأقصى 14. أعدّ الكاتب المرجع يدويًا. وإلى جانب الاكتمال، احتسب E، أي عدد البنود التي تحتوي على خطأ يمكن التحقق منه، و«الاختلاقات الواثقة»: وقائع خاطئة وسمها النموذج بعبارة «واثق». أما مقياس الترتيب فهو النقاط الصافية، أي الاكتمال ناقص E.

تضمّن السؤال فخاخًا. فشركة «БИТРИКС24» ذات المسؤولية المحدودة في كالينينغراد هي شركة قابضة فارغة بلا موظفين، وليست الشركة المقصودة. وبيانات الإيرادات منشورة لعام 2023 فقط. أما مدير التسويق فيُعرف في الأساس من تعليقاته في وسائل الإعلام المتخصصة.

ماذا تعرف النماذج دون بحث

أجابت ثمانية نماذج أولًا دون اتصال بالإنترنت. حقق Gemini 3.8 Flash 5 نقاط صحيحة من 14، وحققت البقية 1–3 نقاط. اختلق كل من Sonnet 5.5 وQwen 3.8 Max وGLM-5.3 رقم ИНН الضريبي. وذكر Nemotron Super رقم ИНН يعود إلى سبيربنك. وارتبك Mistral Large 3 في الكيان القانوني، بينما كتب MiMo v2.6 Pro بصدق «لا أعرف» بشأن الإيرادات.

وكان أسوأ الأداء من نصيب gpt-oss:120b: ست اختلاقات واثقة، منها «إصدارات عام 2026» وأربع ندوات غير موجودة واقتباسات من ريا نوفوستي بتاريخ 22.10.2026. وسمّت ستة نماذج الرئيس التنفيذي (CEO)، أما مدير التسويق الحالي (CMO) فلم يذكره أي نموذج.

سبعة محركات بحث: ماذا يعيد كل منها

وصف الكاتب الأدوات واختبرها على نموذجين مجانيين بأقل قدر من الاختلاقات، هما dots-3-note وNemotron 3 Super، بتشغيل واحد لكل تركيبة.

• Exa — بحث دلالي في فهرسه الخاص، يعيد النص الكامل وhighlights؛ يوفر رصيدًا مجانيًا قدره $10 شهريًا. متوسط النقاط 10,5.
• DuckDuckGo (ddgs) — مكتبة لا تحتاج إلى مفتاح، تعيد العنوان وURL ومقتطفًا من 200–300 حرف؛ وهي هشة بسبب الحظر على مستوى IP. متوسط النقاط 10,0.
• Keenable — فهرس خاص مع بحث «بحسب تاريخ محدد». النتيجة 7–8 نقاط.
• Tavily — مجمّع يضم حتى 20 مصدرًا، ويقطّع المحتوى إلى أجزاء (chunks) من 500–800 حرف؛ مع 1 000 رصيد شهريًا. النتيجة 5–7.
• Firecrawl — أداة كشط (scraper) وليس محرك بحث: يعرض الصفحة ويعيدها بصيغة markdown نظيفة. في المصفوفة حققت تركيبته مع Parallel بين 5 و9 نقاط.
• SearXNG — محرك بحث وصفي (metasearch) ذاتي الاستضافة يضم حتى 244 مصدرًا. يعيد بإعداداته الافتراضية مقتطفات فقط، والنتيجة نحو 3. ويرى الكاتب أنه قد يتحسن بعد الضبط.
• Brave Search API — فهرس مستقل يضم أكثر من 30 مليار صفحة ونقطة وصول /llm/context. لم تكفِ الطلبات المجانية البالغة 2 000 طلب، واضطر الكاتب إلى شحن الحساب بمبلغ $5، ولذلك لم يدخل الأداة في المصفوفة.

وتبيّن حالة dots الأمر بوضوح: أحال الوكيل إلى helpdesk.bitrixrix24.ru، وهو نطاق به خطأ إملائي ويعيد HTTP 200. كانت الواقعة خاطئة، وقد يكون النطاق نفسه احتياليًا (phishing). ومن نحو 66 رابط URL جرى فحصها عبر curl، لم يكن ميتًا سوى رابطين. فالخطأ الرئيسي ليس رابطًا مختلقًا، بل قراءة خاطئة لصفحة حية. وينصح الكاتب بإضافة التحقق من النطاق إلى الطبقة المحيطة بالوكيل.

ستة عشر نموذجًا: قراءة الصفحات أهم من «الذكاء»

على Exa حققت ثمانية نماذج مدفوعة في المتوسط 11,1 من 14. ثم أجرى الكاتب ثلاثة تشغيلات لكل تركيبة. بلغ تفاوت النموذج الواحد 3–6 نقاط: فقد حصل Sol على ما بين 7 و13 بالمطالبة نفسها. وعليه فإن الترتيب بتشغيل واحد هو في جانب منه ضرب من اليانصيب. المتوسطات النهائية بحسب الاكتمال:

• MiMo v2.6 Pro — 12,0، اختلاقات 0، ≈$0,06 للتشغيل؛
• Nemotron 3 Ultra — نحو 12,0، اختلاقات 0 (اكتمل تشغيلان من 3)؛
• GLM-5.3 — 11,7، اختلاق واحد؛
• DeepSeek v4.1 Flash — 11,7، 4 اختلاقات: الدرجة العالية اشتُريت بالتخمينات؛
• Sonnet 5.5 — 11,3، 0 اختلاقات، ≈$0,16؛
• Gemini 3.8 Flash — 11,3، اختلاقان، ≈$0,05؛
• Qwen 3.8 Max — 11,0، 0 اختلاقات، ≈$0,14؛
• dots-3-note — 11,0 و5 اختلاقات؛
• Sol — 10,7، 0 اختلاقات، ≈$0,15؛
• Qwen 3.8 27B — 10,7، اختلاقان؛
• Luna — 10,3، اختلاق واحد، ≈$0,01؛
• Gemma 4 31B — 8,7، 3 اختلاقات؛
• Nemotron Super — 8,3، 3 اختلاقات؛
• Inkling — 8,3، اختلاقان؛
• Mistral Large 3 — 7,3، 3 اختلاقات؛
• gpt-oss 120B — 6,0، 6 اختلاقات.

فسّر تحليل tool_calls.json هذا التوزيع. ينفذ الوكيل web_search (للعثور على المصادر) وweb_extract (لقراءة الصفحة). أجرى Qwen Max على Brave نحو 23 عملية بحث و6 عمليات استخراج خلال 5–6 دقائق. أما Inkling وMistral فنفّذا 7 عمليات بحث لكل منهما ولم ينفذا أي استخراج، وكانت النتيجة 3,7 و4,0 على التوالي. وأجرى Sonnet وGemini من 7 إلى 11 عملية بحث وما بين 0 و1 استخراج خلال 40–50 ثانية: سريع، لكن الميزانية لم تكفِ للندوات ووسائل الإعلام. يزداد الاكتمال مع عدد web_extract، لا مع قوة النموذج. والتلميحات في المطالبة غير مستقرة: فنصيحة الندوات أضافت لـLuna لقاءً واحدًا، لكن الاكتمال انخفض من 10,3 إلى 7,7.

لقطات المصادر وعطل Brave

عندما كان الكود نفسه ينزّل المصادر إلى snapshot.json ويقتصر دور النموذج على استخراج الحقول، اختلط الترتيب. حصل Gemini 3.8 Flash على 12 نقطة دون أخطاء على لقطة DDG، لكن 9,3 على Brave الحي. وارتفع Mistral وGemma على اللقطة إلى 10,7، في المقابل هبط Nemotron 3 Super من 9,0 على Brave الحي إلى 3,3–3,7. وسجّل DeepSeek: 11,7 على Exa، و6,7 على لقطة DDG، و10,7 على لقطة Brave. أما متوسط الاكتمال بحسب الأنماط فهو: Exa — 10,1، وBrave — 8,9، ولقطة DDG — 9,2، ولقطة Brave — 8,6. وبالكاد غطّت لقطة Brave وسائل الإعلام: ففي 34 تشغيلًا من 45 بقي البند غير مملوء.

ومن الأخطاء المتكررة: إيرادات «4,6 مليار لعام 2024» بدلًا من 4,57 مليار لعام 2023، وخلط Bitrix24 بنظام إدارة المحتوى «1С-Битрикс»، والوقوع في فخ الشركة الكالينينغرادية ذات المسؤولية المحدودة لدى Inkling وMistral وGemma وNemotron Super وgpt-oss. وهناك حادثة منفصلة: بعد استنفاد الحد أعاد Brave الرمز HTTP 402، بينما كان الكاشف يلتقط 429 فقط، فمرّت 9 تشغيلات من 42 دون أي بحث.

القيود واضحة: حالة اختبار واحدة، وعدد قليل من التشغيلات، وتقييم يدوي بمساعدة Grok Bot. أما الخلاصة العملية لمن يبني بحثًا وكيليًا (agentic search): لا تثقوا بتشغيل واحد، واحسبوا الاختلاقات الواثقة بشكل منفصل، واتركوا للوكيل ميزانية لقراءة الصفحات.