Qwen 3.8 Max e DeepSeek V4 são comparados com a mesma pergunta cruzada no PlyLoom

O autor de uma publicação no Habr montou um pequeno experimento. Ele pegou dois modelos, Qwen 3.8 Max e DeepSeek V4, e fez a ambos a mesma pergunta cruzada. As respostas em formato de grafo foram carregadas no PlyLoom, para que ele pudesse comparar estruturas, e não parágrafos de texto. Dois participantes, uma consulta, uma ferramenta de análise. O anúncio é curto: nele não há a pergunta em si, resultados quantitativos nem conclusões, que ficaram na versão completa do artigo.

O que se sabe sobre o experimento

O anúncio traz pouca coisa, mas com clareza. Os nomes das versões dos modelos aparecem como o autor os indicou, e não os verificamos de forma independente. Pela formulação, uma pergunta "cruzada" exige conectar várias áreas ou conceitos. Quais são, não se diz. Uma resposta em grafo é um conjunto de nós e das conexões entre eles, e não um texto corrido. Nesse esquema, o PlyLoom serve como plataforma onde os resultados dos dois modelos são carregados para análise e comparação.

• Modelos: Qwen 3.8 Max e DeepSeek V4 (nomes conforme a fonte).
• Consulta: a mesma pergunta cruzada para ambos.
• Formato do resultado: respostas em grafo.
• Ferramenta de comparação: PlyLoom.
• Publicação: Habr, 12 de outubro de 2026.
• Não revelado: o texto da pergunta, o número de nós e conexões, os critérios de avaliação, o número de execuções e a conclusão final.

Em que a comparação por grafos difere da comparação comum

Comparar respostas em texto de dois modelos é incômodo. Atrapalham o tamanho, o estilo e a confiança do tom: um parágrafo bem escrito pode facilmente passar por mais preciso. O grafo elimina parte desse ruído. Nele dá para ver quais conceitos o modelo destacou, quais conexões traçou entre eles e o que deixou de fora. Os dois modelos podem ser comparados pela composição dos nós, pela densidade das conexões e pelos pontos em que suas "visões de mundo" divergem.

A abordagem também tem um ponto fraco. O grafo também é resultado de geração. Sua aparência depende da formulação da consulta, do formato de saída exigido e da forma como a resposta foi decomposta em nós e arestas. Se um modelo foi instruído a entregar a estrutura diretamente e o outro foi analisado depois, a comparação sai torta. Além disso, uma única pergunta rende um único ponto de dados. Ela mostra como os modelos se comportaram nela e não vira ranking.

Como ler comparações desse tipo e repeti-las por conta própria

Antes de tirar conclusões de um experimento assim, vale checar algumas coisas. As condições eram as mesmas? Texto do prompt, instruções de sistema, temperatura, modo de raciocínio ligado ou desligado. Quantas execuções foram feitas? A resposta única de um modelo depende muito do acaso. Quem transformou a resposta em grafo, e como: à mão, por script ou pelo próprio modelo? Por fim, os fatos dentro dos nós foram verificados? Uma conexão elegante entre dois conceitos continua elegante mesmo que seja inventada.

Quem quiser repetir o experimento pode seguir um esquema simples. Escolha uma pergunta da sua área de atuação, em que você mesmo consiga avaliar a correção. Registre os parâmetros de execução e salve as respostas brutas antes de qualquer processamento. Rode a consulta várias vezes e acrescente mais duas ou três perguntas de outro tipo. Só depois disso compare os grafos. O que exatamente o experimento com Qwen e DeepSeek mostrou pode ser conferido no artigo completo no Habr. Por ora, o anúncio público não traz dados que permitam apontar um vencedor.