Bug hunting com LLM: como um especialista da Bastion caça vulnerabilidades sem se afogar em spam

Um especialista do departamento de resposta a incidentes da Bastion, que usa o apelido Vladislav, contou no Habr como, nos últimos seis meses, migrou a busca por vulnerabilidades em bug bounty para grandes modelos de linguagem (LLMs). Ele montou um pipeline com dois agentes de IA e três camadas de verificação para eliminar os falsos positivos antes do envio do relatório.

Por que o agente de IA afoga o pesquisador em spam

Colocar um agente de IA para rodar em um programa de bug bounty leva cinco minutos. Transformar o "fluxo de consciência" dele em relatórios aceitos é outra história, e é aí que fica fácil levar um banimento por spam e perder reputação. O autor caça bugs em programas de bug bounty há cerca de um ano e meio, venceu a competição Bug Zone 7.0 e, nos últimos seis meses, procura falhas especificamente com LLMs. Segundo ele, com IA é possível chegar a resultados reais, em vez de entregar lixo.

• O autor é especialista do departamento de resposta a incidentes da Bastion, com ~1,5 ano de experiência em bug bounty
• Vencedor da competição Bug Zone 7.0
• Há ~6 meses busca vulnerabilidades com ajuda de LLMs
• A análise traz 4 abordagens de bug hunting com IA e 4 formas de pagar pelo modelo
• Verificação em 3 camadas, pipeline com 2 agentes de IA e análise ao vivo de um blind SSRF

Como não se afogar em falsos positivos

O segredo de um bug hunting com IA que funcione é a verificação em várias camadas: o autor montou três camadas de verificação pelas quais passa cada achado do modelo antes de ser enviado. Sem esse filtro, as plataformas de bug bounty tratam a saída bruta da LLM como spam, o que pode resultar em bloqueio e em penalidade na reputação do pesquisador.

Os papéis no pipeline são divididos. Um agente gera hipóteses sobre vulnerabilidades; o outro as verifica e as classifica, tirando do humano o trabalho braçal da triagem inicial. Segundo o autor, é justamente a análise manual do fluxo de falsos positivos que transforma o pesquisador em um "triador gratuito do próprio agente", algo que se deve evitar.

O autor também analisa a parte econômica e apresenta quatro formas de pagar pelo modelo, porque, ao rodar hipóteses em massa, o custo dos tokens passa a pesar de forma significativa nas despesas do pesquisador.

O que a análise do blind SSRF mostra

Como exemplo real, o autor detalha a busca por uma vulnerabilidade da classe blind SSRF (server-side request forgery), em que o servidor, por comando do atacante, acessa recursos internos mas não devolve a resposta diretamente. O caso mostra como o agente de IA formula a hipótese e como as camadas de verificação confirmam a explorabilidade antes do envio do relatório.

"Colocar um agente de IA para rodar em bug bounty leva cinco minutos.

Mas transformar o fluxo de consciência dele em relatórios aceitos, sem levar banimento por spam nem perder pontos de reputação, é uma tarefa com asterisco".

—

Vladislav, especialista do departamento de resposta a incidentes, Bastion

O autor não promete um "botão de fazer direito": mesmo com LLMs, o resultado depende da disciplina de verificação, e não de automatizar por automatizar.

O que isso significa

As LLMs já dão aos hackers éticos uma vantagem real em bug bounty, mas somente em conjunto com um humano e com verificação rigorosa. Um agente de IA sem camadas de checagem gera spam que custa reputação e acesso a programas: o valor está na arquitetura do pipeline, e não no modelo em si.

Perguntas frequentes

O que é bug hunting com IA?

É a busca por vulnerabilidades em programas de bug bounty com ajuda de grandes modelos de linguagem (LLMs): o modelo gera hipóteses sobre vulnerabilidades, e o pesquisador verifica e formaliza os achados. O especialista da Bastion descreve 4 abordagens para esse processo.

Como o agente de IA não transforma o pesquisador em spammer?

Por meio da verificação: o autor passa cada achado do modelo por três camadas de checagem e por um pipeline de dois agentes, em que o segundo assume a classificação dos achados. Sem esse filtro, a saída bruta da LLM leva a banimento por spam e a perda de pontos de reputação.