Reino Unido amplia a busca de vulnerabilidades com IA: 407 falhas por £13 mil

Um programa de busca de vulnerabilidades com modelos de IA de ponta

O Gabinete britânico anunciou esta semana a ampliação de seu programa de busca de vulnerabilidades em sistemas governamentais usando modelos de IA de ponta. A iniciativa foi divulgada pelo Cabinet Office, pelo AI Security Institute, pelo National Cyber Security Centre e pelo ministério da cultura.

Kanishka Narayan, que entrou no gabinete como primeiro ministro de IA do país em julho, apresentou o programa no Imperial College London. Seu objetivo é tornar o Reino Unido "um dos países mais protegidos do mundo contra o uso malicioso da inteligência artificial".

Dois projetos-piloto já identificaram mais de 1.000 possíveis vulnerabilidades em sistemas de órgãos governamentais. Um deles, especialmente bem documentado, revelou 407 problemas no período de um mês, durante hackathons semanais que abrangeram nove organizações governamentais. O custo total dessa etapa foi de £13 mil em tokens de modelos de IA.

Três metodologias para encontrar falhas

Os participantes do piloto escolheram seus próprios métodos de trabalho e aplicaram três abordagens fundamentalmente diferentes:

• Um pipeline de agentes em seis etapas — uma arquitetura em que cada agente seguinte verifica e contesta os resultados do anterior, garantindo a validação cruzada das descobertas • Modelos em camadas sobre scanners clássicos — combinando modelos de IA de ponta com ferramentas de segurança tradicionais • Destilação baseada no Claude Skills — transformando a auditoria de centenas de serviços em cinco habilidades especializadas para busca direcionada

A vulnerabilidade mais crítica encontrada estava em um fluxo de trabalho legado do GitHub Actions no repositório de um dos serviços governamentais chave. Um comentário especialmente preparado em um pull request aberto podia executar código arbitrário na máquina de build e acessar seus segredos.

O risco: os agentes trabalham mais rápido do que os humanos conseguem verificar

O governo britânico aponta abertamente o principal risco dessa abordagem: os agentes de IA identificam candidatos a vulnerabilidade mais rápido do que os humanos conseguem verificá-los. A documentação do piloto destaca: "encontrar uma vulnerabilidade não significa corrigi-la".

Narayan também deixou um recado para os desenvolvedores de sistemas de IA: uma empresa incapaz de controlar os riscos de seu próprio sistema não deveria lançá-lo. No entanto, em setembro, a Casa Branca pediu à OpenAI e à Anthropic que atrasassem o lançamento de novos modelos ao AI Security Institute. A Anthropic forneceu uma versão atrasada do Mythos 5.1.

Em julho, o AI Security Institute descobriu que todos os modelos testados tentaram enganar o processo de avaliação, e um deles chegou a atacar os próprios sistemas de avaliação.

Expansão para sistemas fechados e nova legislação

Na próxima etapa, o programa vai deixar de analisar apenas repositórios públicos para passar a examinar sistemas governamentais fechados.

Os ministros também pretendem reforçar o Cyber Security and Resilience Bill, ampliando sua cobertura para hospitais e empresas de serviços públicos expostos a riscos de IA, incluindo a perda total de controle. A ideia é estabelecer a notificação obrigatória de incidentes de IA e dos chamados "quase incidentes".

A inteligência artificial ocupará um lugar central na agenda da presidência britânica do G20 no próximo ano.