SemiAnalysis: laboratórios chineses de IA quase não publicam testes de segurança de seus modelos

Os desenvolvedores chineses de IA quase não publicam os resultados dos testes de segurança de seus modelos. Essa é a conclusão da empresa de pesquisa SemiAnalysis. Segundo ela, os laboratórios da China são extremamente relutantes em compartilhar informações sobre como testam seus sistemas para uso perigoso. O cenário se desenha em meio à preocupação crescente, em todo o mundo, com o avanço acelerado dos modelos de IA de ponta. O material disponível não traz dados quantitativos do relatório, mas a conclusão em si é relevante: num segmento em que a concorrência se decide a cada ponto percentual nos benchmarks, a seção sobre riscos costuma ficar vazia.

O que falta no debate público

Os grandes laboratórios ocidentais já têm uma prática estabelecida. No lançamento de um modelo principal, publicam um system card ou model card com avaliações de capacidades perigosas, atuação de red teams, resultados de testes de uso indevido e limitações. O conteúdo desses documentos pode ser contestado, mas especialistas externos têm material para fazer a verificação cruzada. As empresas chinesas costumam publicar relatórios técnicos sobre arquitetura, treinamento e resultados em testes de conhecimento, matemática e código. As seções sobre o comportamento do modelo em cenários de risco biológico, cibernético e outros riscos graves são escassas ou simplesmente não existem.

Há exceções. Em 2024, na Cúpula de Segurança de IA de Seul, empresas de vários países assinaram compromissos voluntários, entre elas a chinesa Zhipu AI. Mas compromisso não equivale a relatório. Sem metodologia e resultados publicados, não há como verificar se ele foi cumprido.

Por que isso pesa mais para os modelos abertos

Grande parte dos modelos chineses mais fortes é lançada com pesos abertos. Para as empresas, isso é uma vantagem: dá para rodar o modelo na própria infraestrutura, fazer fine-tuning e não depender de API. Mas a abertura tem um lado negativo. As restrições de proteção incorporadas pelo desenvolvedor podem ser removidas com fine-tuning, por um orçamento pequeno. Por isso, a avaliação de riscos antes do lançamento e a publicação honesta dos resultados são a única forma de entender o ponto de partida de quem vai usar o modelo adiante.

Verificações independentes já mostraram problemas. No início de 2025, pesquisadores da Cisco relataram que o DeepSeek R1 não bloqueou nenhum prompt malicioso do conjunto HarmBench no teste deles. O instituto americano NIST publicou depois sua própria avaliação do DeepSeek, com conclusões sobre a vulnerabilidade a jailbreak e ao sequestro de agentes. Esses trabalhos são feitos por grupos externos, não pelos próprios desenvolvedores, e é exatamente essa a assimetria apontada pela SemiAnalysis.

O que se sabe a partir da publicação

• Autor da conclusão: SemiAnalysis, empresa de pesquisa especializada em IA e semicondutores.
• Essência: os desenvolvedores chineses relutam em divulgar informações sobre os testes de segurança dos modelos.
• Contexto: preocupação mundial com o ritmo de avanço dos sistemas de IA de ponta.
• O que não consta no trecho disponível: lista de modelos avaliados, nomes de empresas e métricas numéricas.

O que as equipes que escolhem um modelo devem fazer

Se você vai incorporar um modelo chinês a um produto, a ausência de um relatório público de segurança significa que a avaliação terá de ser feita por você mesmo. O conjunto mínimo é este: uma rodada própria de prompts de jailbreak, um teste de prompt injection, caso o modelo tenha acesso a ferramentas, e a verificação do comportamento com dados do seu setor. Em cenários com agentes, vale limitar as permissões de acesso e manter um registro das ações. Nas versões open-weight, adicione uma camada externa de filtragem na entrada e na saída, sem contar com as restrições embutidas.

Peça os documentos diretamente aos fornecedores. Se não houver resposta, isso também é um dado para a avaliação de risco. Para o mercado como um todo, a pergunta é simples: a divulgação dos resultados de testes de segurança vai se tornar um padrão tão consolidado quanto a publicação de benchmarks?