Habr AI→ original

Por que a cibersegurança tradicional não protege sistemas de AI

As empresas protegem modelos de AI com ferramentas tradicionais de DevSecOps, mas isso é criticamente insuficiente. Os ataques a modelos de linguagem e…

Processado por IA de Habr AI; editado por Hamidun News
Por que a cibersegurança tradicional não protege sistemas de AI
Fonte: Habr AI. Colagem: Hamidun News.
◐ Ouvir artigo

Quase metade das empresas que implementaram um agente de AI ou um modelo de linguagem o protegem exatamente como um microsserviço comum — com firewall, scanner de dependências e políticas de acesso. Parece razoável, mas na prática é como colocar uma porta de metal numa casa à qual falta uma parede inteira. Boris Matsakov, engenheiro de Data Science da Cloud.ru, formulou precisamente o problema que a indústria até agora prefere não notar em sua análise no Habr: DevSecOps clássico e segurança de AI são dois circuitos diferentes, e um não substitui o outro.

A divergência é simples e ao mesmo tempo fundamental. DevSecOps foi construído ao longo de décadas em torno de um modelo de ameaça compreensível: existe um perímetro, existem dependências, existe infraestrutura e direitos de acesso. Proteja cada uma dessas camadas — e o sistema está seguro.

Mas os modelos de AI são atacados de formas completamente diferentes. Prompt injection permite que um atacante sequestre o comportamento do modelo através de texto especialmente construído. Envenenamento de dados de treinamento distorce a própria lógica da tomada de decisão muito antes do modelo chegar à produção.

Manipulação de contexto força um agente de AI a executar ações que seus criadores não previam. Nenhum desses ataques toca a infraestrutura no sentido tradicional — eles atacam aquilo que faz a AI ser inteligência artificial: os dados e a capacidade do modelo de interpretá-los.

O problema é especialmente agudo com sistemas agentic — agentes de AI autônomos que não apenas geram texto, mas tomam decisões, chamam APIs externas, trabalham com bancos de dados e executam cadeias de ações. Se um modelo de linguagem comum pode ser vagamente comparado a um consultor que dá conselhos, então um agente de AI é um funcionário com acesso aos sistemas corporativos. Comprometer tal funcionário através de prompt injection significa obter não apenas uma resposta incorreta, mas um impacto real nos processos de negócio. E aqui a proteção de infraestrutura é impotente por definição: do ponto de vista do firewall, o agente está fazendo exatamente aquilo que lhe é permitido — enviando solicitações e recebendo respostas.

A boa notícia é que a indústria não está parada. Nos últimos dezoito meses, vários documentos-quadro sérios foram desenvolvidos que permitem construir um sistema de defesa prático. OWASP lançou duas listas separadas do Top 10 de vulnerabilidades — para aplicações LLM e para sistemas agentic.

Google apresentou SAIF — o Secure AI Framework com um mapa de riscos que ajuda empresas a avaliar sistematicamente ameaças. MITRE expandiu sua legendária base de dados ATT&CK para o projeto ATLAS, catálogo de técnicas de ataque específicas para sistemas de aprendizado de máquina. Cada uma dessas ferramentas preenche seu próprio nicho: OWASP fornece uma checklist de vulnerabilidades específicas, SAIF fornece uma metodologia de avaliação de risco, ATLAS fornece uma linguagem para descrever ataques e construir modelos de ameaça.

A má notícia é que um padrão unificado ainda não existe. Não há nem um "GOST" nem um ISO, nem um framework obrigatório que prescreva um conjunto específico de medidas para as empresas. Cada equipe interpreta à sua maneira o que significa um "sistema de AI seguro", e frequentemente essa interpretação se reduz ao que os engenheiros de DevSecOps internos já sabem fazer. Isso cria uma ilusão perigosa de proteção: formalmente todos os procedimentos são seguidos, scanners estão verdes, acesso é controlado — mas o modelo está vulnerável a ataques que a equipe de segurança pode nem sequer suspeitar.

A conclusão prática para o negócio se parece com isto: segurança de AI precisa ser vista como um circuito separado que se sobrepõe ao DevSecOps existente em vez de estar incorporado nele. Isto significa competências separadas na equipe, um conjunto separado de ferramentas para testes — red teaming de modelos, verificação de prompt injection, auditoria de dados de treinamento — e um modelo de ameaça separado construído levando em conta as especificidades do aprendizado de máquina. Os frameworks OWASP, SAIF e ATLAS fornecem base suficiente para que você não tenha que reinventar a roda.

A indústria de segurança de AI está atualmente aproximadamente no mesmo lugar em que a cibersegurança clássica estava no início dos anos 2000: ameaças são reais, ferramentas estão emergindo, mas padrões maduros ainda não existem. Empresas que começarem a construir este circuito agora ganharão não apenas uma vantagem técnica mas também uma competitiva — porque em dois ou três anos os reguladores inevitavelmente virão com requisitos, e será mais fácil se adaptar para aqueles que estão preparados.

ZK
Hamidun News
Notícias de AI sem ruído. Seleção editorial diária de mais de 400 fontes. Produto de Zhemal Khamidun, Head of AI na Alpina Digital.

Quer parar de ler sobre IA e começar a usar?

AI News é um feed curado de notícias de IA. A Hamidun Academy ensina você a usar IA no trabalho.

O que você acha?
Carregando comentários…