Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Scanner de repositórios encontra ativos de IA ocultos e gera um ML-BOM antes do lançamento

SAST, SCA e DAST não enxergam metade de um sistema de IA: prompts, adaptadores, servidores MCP e conjuntos de dados são configuração e dados, não código. A plataforma russa INFERA AI.SafeCode adicionou uma varredura de MLSecOps que inventaria esses ativos diretamente do repositório. Os achados entram na fila compartilhada de vulnerabilidades, e os componentes do sistema são exportados como ML-BOM. A varredura é determinística e não executa os pesos do modelo.

Processado por IA de Habr AI; editado por Hamidun News
Scanner de repositórios encontra ativos de IA ocultos e gera um ML-BOM antes do lançamento
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
O inventário mostra as relaçõesagente → modelo → MCP → banco de dados vetorial
Dado-chave #2O status “não verificado” é distinto de “sem assinatura”
Dado-chave #3Os achados MLSEC passam pela mesma triagem que os de SAST e SCA

É uma situação conhecida: a equipe de segurança pergunta “que IA temos em produção?” e ninguém consegue dar uma resposta honesta. Alguém colocou um adaptador LoRA em uma pasta ao lado, outra pessoa configurou um servidor MCP no JSON de um cliente e outra deixou em um notebook uma saída contendo uma chave. Os scanners tradicionais têm um ponto cego aqui: SAST lê código, SCA lê dependências e metade dos artefatos de IA é configuração e dados.

A plataforma russa INFERA AI.SafeCode responde a esse problema com uma varredura de MLSecOps. Ela só precisa do repositório. Aplica regras ao código e aos arquivos de configuração para gerar um inventário de ativos de IA e uma lista de achados.

O que conta como ativo de IA

O scanner identifica onze tipos: modelo, adaptador, conjunto de dados, prompt, armazenamento vetorial, agente, servidor MCP, biblioteca de ML, provedor externo, notebook e pipeline. Todos têm o mesmo conjunto de atributos: caminho, versão, resumo criptográfico, origem, status da assinatura, licença e nível de risco.

As relações entre os ativos importam. Um agente usa um modelo, obtém ferramentas de um servidor MCP e lê um banco de dados vetorial. Sem essas relações, o inventário vira uma lista simples e não fica claro o que um defeito específico pode afetar.

O que exatamente é verificado

Alguns exemplos das regras do scanner:

  • uma ferramenta do agente consegue executar comandos de shell ou realizar ações irreversíveis sem aprovação humana;
  • a descrição de uma ferramenta MCP esconde instruções para o modelo, e a versão do servidor não está fixada;
  • um endpoint do modelo está exposto sem autenticação ou confia no código do repositório do modelo;
  • um banco de dados vetorial pode ser acessado sem chave;
  • o formato dos pesos executa código durante o carregamento, e o fluxo pickle contém importações perigosas;
  • um conjunto de dados contém dados pessoais, indícios de envenenamento ou uma licença que proíbe o treinamento;
  • valores sensíveis permanecem nas saídas salvas de um arquivo .ipynb.

Mudanças em relação ao estado anterior são detectadas separadamente. Uma cópia do texto do prompt é armazenada para que a próxima varredura revele se as instruções do modelo foram alteradas silenciosamente. O mesmo vale para as descrições das ferramentas MCP.

Transparência acima de um relatório sem problemas

A ideia mais sensata está nos status de assinatura. São cinco, e um deles é “não verificado”. Se os pesos estiverem em um armazenamento externo, a plataforma não os baixa e informa explicitamente que a verificação não chegou até eles. Isso não significa “sem assinatura” nem “está tudo certo”. Assim, o relatório não cria uma falsa sensação de segurança. A mesma lógica vale para os conjuntos de dados: eles são examinados por amostragem, e a tabela sempre mostra a proporção inspecionada.

Os arquivos dos modelos não são executados durante a análise; apenas sua estrutura é lida. Por isso, é possível examinar até um artefato sabidamente malicioso. A varredura é determinística, sem tokens nem LLMs, de modo que os resultados não oscilam entre execuções.

ML-BOM e IA na sombra

Os componentes do sistema são exportados no formato CycloneDX como ML-BOM, de forma análoga a um SBOM. Ele pode ser anexado a uma versão ou entregue ao cliente. O filtro “Somente não declarados” mostra ativos encontrados no código que não estão registrados em nenhum lugar: justamente a chamada IA na sombra.

Como aplicar essa abordagem

É possível adotar a abordagem sem comprar esse produto específico. Crie um inventário de ativos de IA e armazene os resumos criptográficos. Fixe as versões dos servidores MCP. Exija aprovação para que os agentes possam realizar ações irreversíveis. Execute essas verificações no CI e encaminhe os achados para a mesma fila das vulnerabilidades convencionais. Você não precisa de um processo separado para a segurança de IA.

Uma ressalva: o artigo foi escrito pelo fornecedor e não apresenta medições independentes da cobertura de detecção nem dos falsos positivos. Ainda assim, a lista de verificações e o cuidado ao descrever os resultados servem como checklist para uma auditoria própria.

História

Perguntas frequentes sobre a notícia

O que conta como ativo de IA?

O scanner identifica onze tipos: modelo, adaptador, conjunto de dados, prompt, armazenamento vetorial, agente, servidor MCP, biblioteca de ML, provedor externo, notebook e pipeline. Todos têm o mesmo conjunto de atributos: caminho, versão, resumo criptográfico, origem, status da assinatura, licença e nível de risco. As relações entre os ativos importam. Um agente usa um modelo, obtém ferramentas de um servidor MCP e lê um banco de dados vetorial.

O que exatamente é verificado?

Alguns exemplos das regras do scanner: uma ferramenta do agente consegue executar comandos de shell ou realizar ações irreversíveis sem aprovação humana; a descrição de uma ferramenta MCP esconde instruções para o modelo, e a versão do servidor não está fixada; um endpoint do modelo está exposto sem autenticação ou confia no código do repositório do modelo; um banco de dados vetorial pode ser acessado sem chave; o formato dos pesos executa código durante o carregamento, e o fluxo pickle contém…

O que se sabe sobre Transparência acima de um relatório sem problemas?

A ideia mais sensata está nos status de assinatura. São cinco, e um deles é “não verificado”. Se os pesos estiverem em um armazenamento externo, a plataforma não os baixa e informa explicitamente que a verificação não chegou até eles. Isso não significa “sem assinatura” nem “está tudo certo”. Assim, o relatório não cria uma falsa sensação de segurança. A mesma lógica vale para os conjuntos de dados: eles são examinados por amostragem, e a tabela sempre mostra a proporção inspecionada.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…