OpenAI lança Safety Bug Bounty contra vulnerabilidades de sistemas de IA agênticos

A OpenAI anunciou o Safety Bug Bounty, uma trilha especializada dentro do seu sistema já existente de recompensas por vulnerabilidades. O foco não são bugs clássicos de software, mas riscos exclusivos de sistemas de IA. Pesquisadores de segurança que descobrirem e documentarem vulnerabilidades nos produtos da empresa poderão receber recompensa em dinheiro pela plataforma Bugcrowd.

A diferença fundamental em relação aos programas comuns é o que se procura. Os bug bounties tradicionais buscam injeções de SQL, falhas de autenticação ou problemas na infraestrutura de servidores. O novo programa se concentra em três vetores específicos de modelos de linguagem: abuso das capacidades da IA (contornar filtros de segurança, usar o modelo para tarefas proibidas), injeções de prompt e vazamentos de dados do contexto da conversa ou das instruções do sistema.

Chama a atenção o foco em vulnerabilidades agênticas. Nos últimos um ano e meio, a OpenAI vem lançando produtos agênticos de forma ativa: Operator, Deep Research e a Responses API, com ferramentas para navegador e manipulação de arquivos. Um agente que visita sites, faz buscas e executa código por conta própria tem uma superfície de ataque muito maior que a de um chatbot. Uma página web ou um documento preparado de propósito pode conter instruções ocultas que o modelo interpreta como comandos do usuário, e as executa. Essa classe de ataque se chama indirect prompt injection.

A ideia: o invasor não fala diretamente com o modelo, mas embute instruções maliciosas em conteúdo que o agente processa como dado. Por exemplo, visitar um site infectado pode levar o agente a enviar um e-mail em nome do usuário, copiar dados confidenciais ou alterar configurações de serviços conectados. O ataque funciona justamente porque muitos modelos não distinguem as instruções confiáveis do sistema do conteúdo externo não confiável.

O vazamento de dados no contexto de LLMs também exige métodos de teste específicos. Não se trata de invadir servidores, mas de situações em que o modelo revela sem querer o conteúdo do prompt de sistema, reproduz dados de outros usuários por meio dos mecanismos de memória ou permite reconstruir trechos do conjunto de treinamento com consultas direcionadas. As ferramentas tradicionais de pentest não foram feitas para isso; é preciso expertise especializada.

Ao criar uma trilha separada, com regras próprias de avaliação e pagamento, a OpenAI reconhece, na prática, que ameaças específicas de IA exigem uma metodologia à parte. Isso se alinha à postura dos principais laboratórios: a Anthropic faz red-teaming regularmente antes de lançar novos modelos, o Google DeepMind publica pesquisas sobre segurança de sistemas agênticos, e reguladores dos EUA e da UE começam a exigir provas de verificações sistemáticas.

O valor prático do programa está na escala. As equipes internas de segurança são limitadas em número e propensas a pontos cegos. A comunidade externa de pesquisadores pode encontrar vetores de ataque que quem está dentro deixou passar, sobretudo com entradas fora do padrão. Para quem usa produtos agênticos, isso significa testes mais sistemáticos de sistemas a que confia acesso a navegadores, arquivos e contas.