Reino Unido vai ampliar a busca de vulnerabilidades com IA: 407 falhas por £13 000

O governo do Reino Unido vai ampliar o programa em que modelos de IA de ponta procuram vulnerabilidades nos próprios sistemas do Estado. Em um mês, o piloto identificou 407 pontos fracos em nove organizações governamentais. Os gastos com tokens ficaram em cerca de £13 000. Além da ampliação, as autoridades vão avaliar medidas legislativas: reporte obrigatório de incidentes de IA e regulamentação do risco de perda de controle sobre sistemas de IA.

O que o piloto mostrou

Os números do piloto são fáceis de recalcular. £13 000 divididos por 407 descobertas dão cerca de £32 por vulnerabilidade. Para cada uma das nove organizações, a média é de aproximadamente 45 descobertas e cerca de £1 440 em gastos. Em um parque de TI governamental, onde auditorias de segurança costumam ser medidas em homens-dia, é uma barreira de entrada muito baixa.

Há ressalvas. No trecho disponível do material, não se revela quais modelos foram usados nem como as descobertas se distribuíram por criticidade. Também não se sabe quantas delas foram confirmadas por engenheiros. O custo médio não pode ser comparado ao preço de uma vulnerabilidade crítica. Das 407 ocorrências, uma parte certamente é de falhas de configuração de pouca relevância. Mesmo assim, a escala por si só mostra que os modelos servem para uma varredura inicial ampla.

As duas partes do pacote

O pacote de medidas reúne duas decisões de natureza distinta.

A primeira é operacional: a ampliação do programa. O Estado transforma um experimento em ferramenta de trabalho e aponta modelos de ponta para os próprios sistemas. É a forma mais direta de verificar do que a tecnologia é capaz antes que outra pessoa o faça.

A segunda é regulatória, e tem redação mais branda. As autoridades vão "avaliar" uma legislação sobre o reporte de incidentes de IA e sobre o risco de perda de controle. Ainda não há obrigações, apenas a intenção de estudar o tema. Mas ele foi incluído no mesmo pacote da cibersegurança. A lógica é fácil de acompanhar: se um modelo consegue encontrar falhas em sistemas governamentais, as falhas dos próprios modelos também devem entrar no radar do regulador. A experiência de outros setores, como a notificação obrigatória de incidentes cibernéticos, mostra que, sem um formato único de reporte, não é possível reunir estatísticas.

A economia da defesa

A principal conclusão do piloto é econômica. Se encontrar vulnerabilidades custa dezenas de libras por descoberta, a mesma conta vale para os atacantes. O acesso a modelos de ponta não é privilégio do Estado, e isso significa que a janela entre o surgimento de uma falha e sua exploração se estreita para todos. À defesa resta uma saída: procurar antes e mais barato do que o adversário.

Principais parâmetros do piloto:

• 407 vulnerabilidades encontradas em um mês;
• 9 organizações governamentais na amostra;
• cerca de £13 000 em gastos com tokens;
• cerca de £32 por descoberta;
• média de 45 descobertas por organização.

O que as equipes de segurança devem fazer

Equipes de segurança do governo e de empresas devem repetir o cálculo com seus próprios dados. Para isso, basta definir um perímetro limitado, reservar um mês e medir três coisas: a proporção de descobertas confirmadas, o custo de verificar cada uma e a taxa de falsos positivos. É a verificação, e não os tokens, que provavelmente será o maior item de custo.

Segundo ponto: pensar desde já em como registrar incidentes que envolvam sistemas de IA. Se o reporte se tornar obrigatório no Reino Unido, as empresas que já têm um formato de registro de falhas perderão menos tempo na adaptação. Terceiro: acompanhar a redação do futuro projeto de lei sobre perda de controle. Por enquanto, não está claro quais sistemas serão enquadrados nem quais limites definirão os modelos "de ponta". Dessa resposta depende se a regulamentação atingirá apenas os laboratórios ou também quem incorpora seus modelos a produtos.