Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAPI / Produto · Pronto p/ usoHabr AI→ original

INFERA AI.SafeCode reúne 8 scanners em um mapa de ataque e testa chatbots com ataques

Um relatório de segurança com uma centena de vulnerabilidades não diz até onde um atacante consegue chegar de fora. O INFERA AI.SafeCode reúne os dados de oito scanners em um mapa: do endpoint público, passando pelo código, até a operação perigosa. O módulo AI Red Team envia prompts de ataque a um chatbot e calcula a taxa de sucesso (ASR). Por isso, a recomendação é corrigir primeiro os achados no caminho alcançável e bloquear o release quando o ASR crescer.

Processado por IA de Habr AI; editado por Hamidun News
INFERA AI.SafeCode reúne 8 scanners em um mapa de ataque e testa chatbots com ataques
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Cinco métricasASR, citation, grounded, hallucination rate e ASR drift
Dado-chave #2Referência é o comportamento da versão anterior: crescimento do ASR é sinal de alerta mesmo dentro da norma
O limite está definido e foi violadoo build falha com erro de quality gate

Imagine um relatório de segurança com mais de cem vulnerabilidades, cada uma com número CWE, arquivo, linha e nível de criticidade. Por onde começar? Uma falha em um módulo abandonado e outra idêntica em um endpoint público têm a mesma aparência na tabela, mas o risco de cada uma é diferente.

Os desenvolvedores da plataforma russa INFERA AI.SafeCode descreveram no Habr como eles enfrentam esse problema. A primeira abordagem é reunir os dados de oito scanners em um único mapa da superfície de ataque, ou seja, tudo o que um invasor consegue alcançar de fora.

A segunda é o AI Red Team, uma verificação automática de um chatbot ou assistente em operação, feita com um fluxo de requisições de ataque; a métrica principal é o ASR (attack success rate), que mostra a proporção de ataques bem-sucedidos.

Da lista de achados ao mapa de alcançabilidade

Os oito scanners são: SAST (análise do código-fonte), SCA (verificação de dependências open-source), busca por segredos, DAST (verificação da aplicação em execução), Pentest (agente de IA que simula um pentest manual), Code Fuzzing (busca por falhas e casos extremos), API Fuzzing (REST, GraphQL, gRPC e WebSocket) e um scan MLSecOps, que identifica a composição do sistema de IA e procura defeitos em seus componentes. Os próprios autores reconhecem que oito scanners em um único produto não são uma vantagem por si só. O valor está na ligação entre os resultados. Um achado no código é vinculado a um endpoint, o endpoint, à superfície externa, e o status de cada verificação, a uma execução específica e à sua data.

O recorte mais útil é a cadeia "entrada → caminho → sink". O sink é a operação perigosa: uma consulta SQL, execução de comando, desserialização insegura, exposição de dados sensíveis. Suponha que você tenha cem achados. Se existe um caminho desde uma API pública até o handler vulnerável, esse achado é tratado primeiro. Se não há caminho, ele fica mais abaixo na fila. O grafo de chamadas também mostra a concentração de risco, por exemplo, vários endpoints públicos apontando para o mesmo handler inseguro.

Há ainda os blind spots, isto é, o que não foi verificado. Um relatório vazio não significa segurança se o DAST não foi executado após a mudança de rotas, se o SCA analisa um snapshot desatualizado das dependências ou se o API fuzzing desconhece novos métodos. Por isso, a métrica de cobertura deve responder não apenas "quanto foi escaneado", mas também "quais caminhos importantes ficaram sem verificação".

Como se testa uma aplicação com LLM

Um serviço web comum tem uma requisição, uma resposta e um comportamento esperado. Em um aplicativo com LLM, o resultado depende do modelo, do system prompt, das ferramentas, dos dados de retrieval e até da formulação da pergunta. A vulnerabilidade não se manifesta com a queda do processo, mas com um comportamento incorreto. O assistente revela instruções do sistema. A regra de proteção é contornada por reformulação ou por um diálogo de múltiplas etapas. O modelo chama uma ferramenta com parâmetros perigosos ou responde com confiança sem confirmação. Scanners clássicos não detectam nada disso.

O AI Red Team envia ao chatbot um corpus de requisições de ataque. Trata-se de um conjunto de cenários versionado, e não de entradas manuais na interface. Em paralelo, pode-se executar um corpus de qualidade: perguntas com respostas de referência. Ele serve para verificar não apenas se o modelo resistiu, mas também se ele não passou a responder pior.

A plataforma calcula cinco indicadores:

  • ASR — proporção de ataques bem-sucedidos;
  • citation rate — proporção de respostas com a referência exigida à fonte;
  • grounded rate — proporção de respostas fundamentadas em dados permitidos;
  • hallucination rate — proporção de respostas com alucinações;
  • ASR drift — variação da taxa de sucesso dos ataques em relação à referência.

A referência é o comportamento registrado da versão anterior. Ela não serve para declarar o sistema "seguro para sempre", mas para detectar regressões. Se, após a troca de modelo, prompt ou índice de retrieval, o ASR subir, isso é um sinal de risco, mesmo quando o valor absoluto ainda está dentro da política.

Como implantar sem parar o pipeline

Se os limites não estiverem definidos, a execução fica apenas como medição. Ao violar ao menos um limite definido, a execução retorna erro de quality gate (verificação de qualidade na saída do build), e o release pode ser interrompido. Os autores recomendam avançar por etapas. Primeiro, observação em um ambiente de teste. Depois, uma política branda, em que as métricas aparecem no CI, mas o build não é bloqueado. Bloqueios rígidos são ativados apenas para classes críticas de ataque. Em seguida, o corpus é ampliado regularmente com incidentes reais e resultados de verificações manuais.

Um limite de "ASR igual a zero" soa rigoroso, mas não é realista para um corpus amplo com cenários ambíguos. Na prática, é melhor separar os ataques por classe e bloquear o release apenas pelas classes que são críticas para o seu negócio. Também convém combinar antecipadamente o que conta como ataque bem-sucedido. Para uma aplicação, basta não vazar um segredo; para outra, é preciso garantir que o modelo não tenha chamado uma ferramenta nem alterado um registro.

O que levar em conta

O material foi escrito pelos próprios desenvolvedores da plataforma. Não há medições independentes, nem números sobre falsos positivos ou custo das execuções. O grafo de alcançabilidade também não substitui a análise manual da lógica de negócio.

A conclusão prática vale mesmo sem o produto específico. Mantenha os corpora de ataque e de avaliação junto ao código. Vincule os resultados ao commit e à versão do modelo. Repita o Red Team após cada mudança de modelo, prompt, índice ou conjunto de ferramentas. Priorize os achados pela alcançabilidade. Para equipes que lançam funcionalidades com LLM, isso é uma forma de transformar a segurança de uma "aprovação única antes do release" em um teste repetível para cada versão.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Da lista de achados ao mapa de alcançabilidade?

Os oito scanners são: SAST (análise do código-fonte), SCA (verificação de dependências open-source), busca por segredos, DAST (verificação da aplicação em execução), Pentest (agente de IA que simula um pentest manual), Code Fuzzing (busca por falhas e casos extremos), API Fuzzing (REST, GraphQL, gRPC e WebSocket) e um scan MLSecOps, que identifica a composição do sistema de IA e procura defeitos em seus componentes.

Como se testa uma aplicação com LLM?

Um serviço web comum tem uma requisição, uma resposta e um comportamento esperado. Em um aplicativo com LLM, o resultado depende do modelo, do system prompt, das ferramentas, dos dados de retrieval e até da formulação da pergunta. A vulnerabilidade não se manifesta com a queda do processo, mas com um comportamento incorreto. O assistente revela instruções do sistema. A regra de proteção é contornada por reformulação ou por um diálogo de múltiplas etapas.

Como implantar sem parar o pipeline?

Se os limites não estiverem definidos, a execução fica apenas como medição. Ao violar ao menos um limite definido, a execução retorna erro de quality gate (verificação de qualidade na saída do build), e o release pode ser interrompido. Os autores recomendam avançar por etapas. Primeiro, observação em um ambiente de teste. Depois, uma política branda, em que as métricas aparecem no CI, mas o build não é bloqueado. Bloqueios rígidos são ativados apenas para classes críticas de ataque.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…