Agentes escrevem código funcional em 95% das tarefas, mas deixam uma vulnerabilidade na maioria delas
Se você não pedir segurança a um agente de IA, ele também não vai incluí-la. É exatamente isso que o teste da equipe Qwen verifica. Funções são removidas de projetos reais que já tiveram vulnerabilidades, e o agente precisa reescrevê-las a partir de uma descrição. Large 4 e DeepSeek v4.1 Flash produziram código que funciona em cerca de 95% das 150 tarefas, mas a repetição do ataque ainda era bem-sucedida na maioria delas. Por isso, a revisão de código e a busca automatizada por vulnerabilidades continuam obrigatórias para código gerado por agentes.
Processado por IA de X: @Chris_Wozniczek; editado por Hamidun News
Quando você pede a um agente "complete a função de autorização" ou "faça o upload de arquivos", normalmente não acrescenta "e faça de forma segura". A questão é o que sai por padrão. A equipe Qwen, da Alibaba, montou um benchmark que mede exatamente esse hábito, e o desenvolvedor independente Chris Wozniczek o executou em dois modelos: Large 4 e DeepSeek v4.1 Flash. O resultado é desconfortável para quem confia agentes para código de produção: os modelos quase sempre escrevem código que funciona, mas a vulnerabilidade costuma permanecer.
Como o teste funciona
Os autores pegam um projeto real em que uma brecha já foi encontrada. Dos 150 cenários, 115 são CVEs reais em projetos de código aberto, e 35 são aplicações de negócio realistas em Java, escritas por especialistas em segurança. Em seguida, o código vulnerável é removido e substituído por um marcador <MASKED>.
O agente recebe o restante do projeto e a descrição do que deve fazer o trecho ausente: assinaturas de funções, comportamento esperado e relação com o resto do código. Ele não tem acesso à internet e não vê os testes. Um detalhe importante: a palavra "segurança" não aparece no texto da tarefa. É um pedido comum de complementação de código, como em um ticket de trabalho. Assim, o teste mostra os hábitos do agente, e não sua capacidade de cumprir a instrução "faça de forma segura".
Cada cenário existe em três tamanhos, totalizando 450 tarefas. No menor, são removidas apenas as funções afetadas. Nos outros, são retirados arquivos inteiros ou até 8.000 linhas do projeto. Wozniczek executou a versão menor, ou seja, 150 tarefas.
Duas verificações, não uma
Cada tarefa tem duas verificações ocultas. A primeira são os testes normais do projeto: o código restaurado precisa funcionar corretamente. A segunda é a repetição do ataque original contra o novo código. Ela só é considerada superada se o ataque falhar. A tarefa é considerada resolvida quando as duas verificações passam.
Isso importa porque os benchmarks tradicionais de código olham apenas a primeira. Por ela, os dois modelos parecem excelentes: código funcional em cerca de 95% das tarefas. A segunda verificação mostrou que, na maioria dos casos, a brecha continuou aberta. Isso é coerente com os resultados publicados do benchmark, nos quais até os melhores agentes resolvem cerca de uma tarefa em cada quatro.
Uma comparação do dia a dia: um empreiteiro constrói uma casa, todas as torneiras funcionam, mas a porta da frente não tranca. Uma vistoria do tipo "liga tudo?" o aprova. Uma vistoria do tipo "tentamos entrar?" não aprova.
Quem executou tudo isso
Uma parte curiosa da história é o método de execução. Segundo o autor, ele deu ao agente Devin uma VPS e chaves de API e pediu que conduzisse o experimento inteiro. O Devin trabalhou por várias horas e montou sozinho um site com o relatório, vídeos, links para os arquivos brutos de testes e a infraestrutura. Além disso, o autor pediu que as evidências fossem coletadas durante o processo, para que o relatório pudesse ser apresentado a outras pessoas. Ou seja, o agente não apenas fez a prova, como também organizou a aplicação do exame.
O que isso significa na prática
- Não considere a aprovação em testes unitários um sinal de segurança. Um agente com 95% de código funcional pode deixar vulnerabilidades na maioria das tarefas.
- Explicite os requisitos de segurança em prompts e especificações, e adicione verificações que tentem invadir o resultado, e não apenas executá-lo.
- Para código gerado por agentes, mantenha análise estática, varredura de dependências e revisão humana.
Limitações
Este é um único teste na versão mais leve entre os três tamanhos, com dois modelos, e o próprio autor o descreve como um experimento pessoal. Em sua publicação, não há percentuais exatos por modelo: ele apenas diz que a brecha foi mantida na maioria das tarefas. O benchmark pertence à equipe Qwen, e seus números publicados oferecem uma referência geral: sem orientação explícita sobre segurança, os agentes ainda não substituem, por padrão, um especialista em segurança.
- 21 de nov. de 2026GigaChat — 7º no ranking cego em russo, mas 78 pontos Elo atrás do líder
- 21 de nov. de 2026Gigantes chinesas de tecnologia dobraram gastos com IA para US$ 139 bilhões, mas os laboratórios recuperam menos de 8%
- 21 de nov. de 2026Agente Skein apaga etapas antigas do contexto: 97% de execuções bem-sucedidas, mas mais caro que o OpenCode
- 21 de nov. de 2026SGLang com kernels Humming acelerou o primeiro token em 7–23% e a geração em 17–34%
Perguntas frequentes sobre a notícia
Como o teste funciona?
Os autores pegam um projeto real em que uma brecha já foi encontrada. Dos 150 cenários, 115 são CVEs reais em projetos de código aberto, e 35 são aplicações de negócio realistas em Java, escritas por especialistas em segurança. Em seguida, o código vulnerável é removido e substituído por um marcador <MASKED>. O agente recebe o restante do projeto e a descrição do que deve fazer o trecho ausente: assinaturas de funções, comportamento esperado e relação com o resto do código.
O que se sabe sobre Duas verificações, não uma?
Cada tarefa tem duas verificações ocultas. A primeira são os testes normais do projeto: o código restaurado precisa funcionar corretamente. A segunda é a repetição do ataque original contra o novo código. Ela só é considerada superada se o ataque falhar. A tarefa é considerada resolvida quando as duas verificações passam. Isso importa porque os benchmarks tradicionais de código olham apenas a primeira. Por ela, os dois modelos parecem excelentes: código funcional em cerca de 95% das tarefas.
O que se sabe sobre Quem executou tudo isso?
Uma parte curiosa da história é o método de execução. Segundo o autor, ele deu ao agente Devin uma VPS e chaves de API e pediu que conduzisse o experimento inteiro. O Devin trabalhou por várias horas e montou sozinho um site com o relatório, vídeos, links para os arquivos brutos de testes e a infraestrutura. Além disso, o autor pediu que as evidências fossem coletadas durante o processo, para que o relatório pudesse ser apresentado a outras pessoas.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.