Qwen 3.8 Max и DeepSeek V4 сравнили на одном перекрёстном вопросе в PlyLoom

Автор публикации на Habr поставил небольшой эксперимент. Он взял две модели, Qwen 3.8 Max и DeepSeek V4, и задал обеим один и тот же перекрёстный вопрос. Ответы в графовом виде он загрузил в PlyLoom, чтобы сравнивать структуры, а не абзацы текста. Два участника, один запрос, один инструмент анализа. Анонс короткий: самого вопроса, количественных результатов и выводов в нём нет, они остались в полной версии статьи.

Что известно об эксперименте

Из анонса следует немного, зато определённо. Названия версий моделей приведены так, как их указал автор, мы их независимо не проверяли. «Перекрёстный» вопрос, судя по формулировке, требует связать несколько областей или понятий. Какие именно, не сказано. Графовый ответ представляет собой набор узлов и связей между ними, а не сплошной текст. PlyLoom в этой схеме служит площадкой, куда загружаются результаты обеих моделей для анализа и сопоставления.

• Модели: Qwen 3.8 Max и DeepSeek V4 (названия по источнику).
• Запрос: один и тот же перекрёстный вопрос для обеих.
• Формат результата: графовые ответы.
• Инструмент сравнения: PlyLoom.
• Публикация: Habr, 12 октября 2026 года.
• Не раскрыто: текст вопроса, число узлов и связей, критерии оценки, число прогонов, итоговый вывод.

Чем графовое сравнение отличается от обычного

Текстовые ответы двух моделей сравнивать неудобно. Мешают длина, стиль и уверенность тона: убедительно написанный абзац легко принять за более точный. Граф снимает часть этого шума. По нему видно, какие понятия модель выделила, какие связи провела между ними и что пропустила. Две модели можно сопоставить по составу узлов, по плотности связей и по тому, где их картины мира расходятся.

У подхода есть и слабое место. Граф тоже результат генерации. Его вид зависит от формулировки запроса, от требуемого формата выдачи и от того, как ответ разобран на узлы и рёбра. Если одну модель просили выдать структуру напрямую, а другую разбирали постфактум, сравнение получится кривым. К тому же один вопрос даёт одну точку. Он показывает, как модели повели себя на нём, и не превращается в рейтинг.

Как читать подобные сравнения и повторить их самому

Прежде чем делать выводы из такого эксперимента, стоит проверить несколько вещей. Были ли одинаковыми условия: текст промпта, системные инструкции, температура, включённый или выключенный режим рассуждений. Сколько было прогонов: один ответ модели сильно зависит от случайности. Кто и как превращал ответ в граф: вручную, скриптом или самой моделью. Наконец, проверены ли факты внутри узлов. Красивая связь между двумя понятиями остаётся красивой, даже если она выдумана.

Тем, кто хочет повторить опыт, подойдёт простая схема. Возьмите вопрос из своей предметной области, где вы сами можете оценить правильность. Зафиксируйте параметры запуска и сохраните сырые ответы до обработки. Прогоните запрос несколько раз и добавьте ещё два-три вопроса другого типа. Только после этого сравнивайте графы. Что именно показал эксперимент с Qwen и DeepSeek, можно узнать из полной статьи на Habr. Пока в открытом анонсе нет данных, по которым можно назвать победителя.