Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Agente de IA para pentest reiniciou o banco sozinho e não verificou: 4 regras para não derrubar a produção

Um agente de pentest concluiu que o banco de dados estava atrapalhando, reiniciou o serviço e não verificou o resultado: o sistema não voltou a funcionar. A IA já confirma bem as vulnerabilidades encontradas, mas ainda é fraca para buscá-las do zero, porque por trás dela está um modelo de uso geral. A XBOW enviou cerca de 1.060 relatórios ao HackerOne, mas eles foram revisados por pessoas. Por isso, o agente precisa de uma lista de comandos permitidos e da confirmação humana para ações perigosas.

Processado por IA de Habr AI; editado por Hamidun News
Agente de IA para pentest reiniciou o banco sozinho e não verificou: 4 regras para não derrubar a produção
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1O agente deve verificar o serviço após cada ação que altere o sistema
Dado-chave #2O CaMeL, do Google DeepMind, resolveu 77% das tarefas do AgentDojo, contra 84% sem proteção
Dado-chave #3Um pentest manual para certificação custa cerca de 15 mil dólares

Um agente de pentest concluiu que o banco de dados estava atrapalhando e o reiniciou. Ele presumiu que o serviço subiria sozinho, não verificou o resultado e seguiu em frente. O banco não voltou. O autor da análise teve sorte: era o ambiente de teste dele. O entrevistado, Alexander Kelchin, CTO e CISO da Medici Lab, derrubava com agentes os ambientes de demonstração dos clientes, mas sempre com acordo prévio. A partir de uma conversa de uma hora, saiu um recorte prático: o que a IA é capaz de fazer em pentests em 2026, onde ainda é fraca e como evitar derrubar a produção de outra pessoa.

Onde o agente realmente economiza tempo

O pentest automatizado existe há cerca de vinte anos a mais do que os LLMs, desde o russo XSpider até conjuntos de ferramentas em torno do Metasploit. A primeira onda de modelos de linguagem acrescentou a esses produtos a função de resumo: em vez de gráficos conhecidos, o gestor recebe um resumo curto das vulnerabilidades mais críticas e pode fazer perguntas. Os agentes mudaram o cenário com mais força, porque o modelo ganhou "mãos", ou seja, a capacidade de chamar ferramentas, e hoje há muitos servidores MCP para isso.

O primeiro ganho está no volume que ninguém leria à mão. Alexander passava para o agente o tráfego de rede completo: ARP, DNS, certificados SSL. Analisar isso manualmente não faria sentido, e o agente entregou uma conclusão clara.

O segundo é a integração com as ferramentas habituais. Antes, Alexander escrevia um wrapper próprio em torno do Burp Suite e passava o estado ao agente por arquivos. Agora a PortSwigger tem um servidor MCP oficial para o Burp. O Burp AI inicial apenas sugeria requisições que era preciso enviar manualmente, e os créditos gratuitos davam para cerca de três horas. Em um escopo de duas mil máquinas, um assistente que apenas aconselha não serve para nada, enquanto um agente via MCP elimina essa limitação.

O terceiro são os modelos especializados. A OpenAI abriu para defensores verificados o acesso a modelos voltados à cibersegurança, pelo programa Trusted Access for Cyber. Alexander os testou na análise de código, mas acabou escrevendo a própria camada de orquestração: quando você faz por conta própria, entende o que há por dentro.

Confirma bem, encontra mal

Os agentes abertos Strix e PentAGI entendem razoavelmente bem, em contextos pequenos, se uma vulnerabilidade existe ou não. Mas em infraestrutura real eles funcionaram mal, e cerca de três anos atrás fazer à mão era mais rápido e mais confiável. A explicação é simples: por dentro há um modelo comum, não treinado para encontrar vulnerabilidades.

Um exemplo ilustrativo é a XBOW. No segundo trimestre de 2025 ela ficou em primeiro lugar no ranking do HackerOne e enviou cerca de 1.060 relatórios. A empresa descreve as descobertas como totalmente automáticas, mas, antes do envio, uma equipe de segurança as revisava, como exigem as regras da plataforma. A confirmação funciona por meio de "validadores": às vezes é um LLM, às vezes uma checagem programática. No caso de XSS, por exemplo, um navegador headless acessa a página e verifica se a carga foi executada. Alexander comprou a versão comercial, um produto corporativo que custa vários milhares de dólares.

Para o pentest interno há outra explicação. Os relatórios sobre infraestrutura interna estão cobertos por NDA e não entram em treinamento, então os desenvolvedores dos modelos não têm esses dados. Enquanto esses dados não existirem em volume suficiente, o modelo tem desempenho inferior ao de um especialista humano.

Como não derrubar a produção e proteger o próprio agente

Das duas histórias saem quatro regras:

  • Lista de comandos permitidos em vez de lista de proibidos. O autor restringe o agente nos ambientes dos clientes aos comandos echo, cat, cp e pwd.
  • Ações destrutivas e de reinicialização só com confirmação humana. "Reiniciar" soa seguro, mas pode derrubar o serviço.
  • Verificação do resultado após cada ação que altere o sistema. O agente não sabe que o serviço não voltou enquanto não o checar.
  • Verificações destrutivas apenas em ambientes cuja perda o cliente tenha aceitado por escrito.

O próprio agente também se torna superfície de ataque. Ele lê conteúdo não confiável: respostas de servidores, páginas, logs, banners. Qualquer um deles pode conter uma prompt injection, e um agente com acesso a ferramentas a executará dentro do seu ambiente.

Alexander considera pouco eficaz proteger o modelo por dentro, com guardrails e ajuste fino, e constrói a proteção em torno dele. A referência é o trabalho do CaMeL, do Google DeepMind e da ETH Zurich: um modelo privilegiado monta o plano apenas a partir da solicitação confiável, enquanto os dados não confiáveis são processados por um modelo isolado, que não pode alterar o fluxo do programa. Políticas verificam cada chamada de ferramenta.

No AgentDojo, o CaMeL resolveu 77% das tarefas com defesa comprovável, contra 84% de um sistema sem ela. Para modelos fechados, resta um contêiner com um conjunto reduzido de chamadas. Na prática, isso significa um runner isolado, uma lista explícita de ações e controle sobre os dados que saem do ambiente.

Dinheiro e uma previsão cautelosa

As licenças corporativas de autopentest comercial custam milhares de dólares, e um pentest manual para conformidade formal, no caso de clientes estrangeiros, custa cerca de 15 mil dólares. Uma plataforma com auditoria por assinatura de 200 dólares pareceu estranha aos entrevistados: é mais um canal de vazamento de informações sobre vulnerabilidades. Segundo o autor, o pentest externo já ficou tão barato que virou item de consumo, enquanto o interno mantém o preço por causa da escassez de dados. Alexander concorda quanto ao externo, mas discorda quanto ao pentest físico, que custa outra ordem de grandeza.

A conclusão é mais cautelosa do que as manchetes sobre substituição de pessoas. O agente assume a rotina: tráfego, requisições repetitivas, confirmação de achados típicos. Cadeias não padronizadas e a responsabilidade pelas ações dentro da infraestrutura de terceiros continuam com o ser humano. Trata-se da opinião de dois praticantes, não de uma medição em grande amostra, mas as regras de restrição valem para qualquer agente com acesso à infraestrutura.

História

Perguntas frequentes sobre a notícia

Onde o agente realmente economiza tempo?

O pentest automatizado existe há cerca de vinte anos a mais do que os LLMs, desde o russo XSpider até conjuntos de ferramentas em torno do Metasploit. A primeira onda de modelos de linguagem acrescentou a esses produtos a função de resumo: em vez de gráficos conhecidos, o gestor recebe um resumo curto das vulnerabilidades mais críticas e pode fazer perguntas.

O que se sabe sobre Confirma bem, encontra mal?

Os agentes abertos Strix e PentAGI entendem razoavelmente bem, em contextos pequenos, se uma vulnerabilidade existe ou não. Mas em infraestrutura real eles funcionaram mal, e cerca de três anos atrás fazer à mão era mais rápido e mais confiável. A explicação é simples: por dentro há um modelo comum, não treinado para encontrar vulnerabilidades. Um exemplo ilustrativo é a XBOW. No segundo trimestre de 2025 ela ficou em primeiro lugar no ranking do HackerOne e enviou cerca de 1.060 relatórios.

Como não derrubar a produção e proteger o próprio agente?

Das duas histórias saem quatro regras: Lista de comandos permitidos em vez de lista de proibidos. O autor restringe o agente nos ambientes dos clientes aos comandos echo, cat, cp e pwd. Ações destrutivas e de reinicialização só com confirmação humana. "Reiniciar" soa seguro, mas pode derrubar o serviço. Verificação do resultado após cada ação que altere o sistema. O agente não sabe que o serviço não voltou enquanto não o checar.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…