OpenAI lança Safety Bug Bounty para vulnerabilidades em sistemas de AI agêntica

A OpenAI anunciou um programa Safety Bug Bounty — um trilho especializado dentro de seu sistema existente de recompensas por vulnerabilidades, focado não em bugs clássicos de software, mas em riscos únicos de sistemas de IA. Pesquisadores de segurança que descobrirem e documentarem vulnerabilidades nos produtos da empresa poderão receber recompensas monetárias através da plataforma Bugcrowd. A distinção principal do Safety Bug Bounty em relação aos programas padrão de bug bounty reside no objeto da busca.

As campanhas tradicionais de bug bounty procuram injeções SQL, vulnerabilidades de autenticação ou problemas de infraestrutura de servidor. O novo programa foca em três vetores específicos de modelos de linguagem: abuso de capacidades de IA (contorno de filtros de segurança, uso do modelo para tarefas proibidas), injeção de prompts e vazamento de dados do contexto de conversação ou instruções do sistema. Atenção particular é atraída pelo foco em vulnerabilidades de agentes.

Nos últimos dezoito meses, a OpenAI tem implantado ativamente produtos de agentes — Operator, Deep Research, Responses API com ferramentas para navegação e operações de arquivo. Um agente que independentemente visita sites, executa buscas e executa código tem uma superfície de ataque fundamentalmente maior do que um chatbot. Uma página web ou documento especialmente preparado pode conter instruções ocultas que o modelo perceberá como comandos do usuário — e as executará.

Essa classe de ataques é chamada injeção indireta de prompt. A essência: o atacante não se dirige ao modelo diretamente, mas incorpora instruções maliciosas em conteúdo que o agente processa como dados. Por exemplo, visitar um site comprometido pode fazer com que o agente envie um email em nome do usuário, copie dados confidenciais ou modifique configurações de serviços conectados.

O ataque funciona precisamente porque muitos modelos não distinguem entre instruções do sistema confiáveis e conteúdo externo não confiável. O problema de vazamento de dados no contexto de LLM também requer métodos de teste específicos. Não se trata de invasão de servidores, mas de situações em que o modelo revela involuntariamente o conteúdo do prompt do sistema, reproduz dados de outros usuários através de mecanismos de memória ou permite a reconstrução de fragmentos do conjunto de dados de treinamento através de consultas direcionadas.

Ferramentas tradicionais de teste de penetração não são adequadas para tais tarefas — é necessária expertise especializada. Ao criar um trilho separado com suas próprias regras de avaliação e pagamento, a OpenAI de facto reconhece que as ameaças específicas de IA requerem uma metodologia separada. Isso está alinhado com a posição dos principais laboratórios: Anthropic realiza regularmente red-teaming antes de lançar novos modelos, Google DeepMind publica pesquisas sobre segurança de sistemas de agentes, e reguladores nos EUA e UE começam a exigir prova de testes sistemáticos.

O significado prático do programa está no escalonamento. Equipes internas de segurança são limitadas em número e propensas a pontos cegos. A comunidade externa de pesquisadores é capaz de descobrir vetores de ataque que os insiders perderam, especialmente com entradas não padrão.

Para usuários de produtos de agentes, isso significa teste mais sistemático de sistemas aos quais concedem acesso aos seus navegadores, arquivos e contas.