Qwen 3.8 Max y DeepSeek V4, comparados con una misma pregunta cruzada en PlyLoom

El autor de una publicación en Habr ha montado un pequeño experimento. Tomó dos modelos, Qwen 3.8 Max y DeepSeek V4, y les planteó la misma pregunta cruzada. Cargó las respuestas en formato de grafo en PlyLoom para comparar estructuras en lugar de párrafos de texto. Dos participantes, una consulta, una herramienta de análisis. El anuncio es breve: no incluye la pregunta, los resultados cuantitativos ni las conclusiones, que quedan en la versión completa del artículo.

Qué se sabe del experimento

Del anuncio se desprende poco, pero con claridad. Los nombres de las versiones de los modelos se citan tal como los indicó el autor; no los hemos verificado de forma independiente. Por la formulación, una pregunta «cruzada» exige conectar varias áreas o conceptos, aunque no se aclara cuáles. Una respuesta en grafo es un conjunto de nodos y de conexiones entre ellos, no un texto continuo. En este esquema, PlyLoom funciona como la plataforma donde se cargan los resultados de ambos modelos para analizarlos y contrastarlos.

• Modelos: Qwen 3.8 Max y DeepSeek V4 (nombres según la fuente).
• Consulta: la misma pregunta cruzada para ambos.
• Formato del resultado: respuestas en grafo.
• Herramienta de comparación: PlyLoom.
• Publicación: Habr, 12 de octubre de 2026.
• No se revela: el texto de la pregunta, el número de nodos y conexiones, los criterios de evaluación, el número de ejecuciones ni la conclusión final.

En qué se diferencia la comparación con grafos de la habitual

Comparar las respuestas de texto de dos modelos es incómodo. Interfieren la longitud, el estilo y la seguridad del tono: un párrafo bien escrito se confunde con facilidad con uno más preciso. El grafo elimina parte de ese ruido. Permite ver qué conceptos destacó el modelo, qué conexiones trazó entre ellos y qué omitió. Se pueden contrastar dos modelos por la composición de los nodos, por la densidad de las conexiones y por los puntos en que sus visiones del mundo divergen.

El enfoque también tiene un punto débil. El grafo es igualmente un resultado de generación. Su aspecto depende de cómo se formuló la consulta, del formato de salida exigido y de cómo se descompuso la respuesta en nodos y aristas. Si a un modelo se le pidió entregar la estructura directamente y la respuesta del otro se procesó a posteriori, la comparación queda sesgada. Además, una sola pregunta da un solo punto de datos. Muestra cómo se comportaron los modelos en ese caso y no equivale a un ranking.

Cómo leer este tipo de comparaciones y cómo repetirlas por tu cuenta

Antes de sacar conclusiones de un experimento así, conviene comprobar varias cosas. Si las condiciones eran idénticas: texto del prompt, instrucciones de sistema, temperatura, modo de razonamiento activado o desactivado. Cuántas ejecuciones hubo: una única respuesta de un modelo depende mucho del azar. Quién convirtió la respuesta en grafo y cómo: a mano, con un script o con el propio modelo. Y, por último, si se verificaron los hechos dentro de los nodos. Una conexión elegante entre dos conceptos sigue siendo elegante aunque sea inventada.

A quien quiera repetir el experimento le servirá un esquema sencillo. Elige una pregunta de tu propio campo, en la que tú mismo puedas juzgar si la respuesta es correcta. Fija los parámetros de ejecución y guarda las respuestas en bruto antes de procesarlas. Lanza la consulta varias veces y añade dos o tres preguntas más de otro tipo. Solo después compara los grafos. Lo que mostró exactamente el experimento con Qwen y DeepSeek puede consultarse en el artículo completo en Habr. Por ahora, el anuncio público no contiene datos que permitan señalar a un ganador.