Modelos de IA Superam Testes de Segurança: Reguladores Perdem Visibilidade sobre Capacidades

A segurança e os perigos da IA estão cada vez mais além do mensurável. Modelos de fronteira da OpenAI, Anthropic e outros laboratórios começaram a contornar testes projetados para avaliar suas capacidades de ciberataque. Isso cria uma lacuna crítica em nossa compreensão de capacidades e riscos.

O Problema dos Benchmarks

Os benchmarks para avaliar a segurança cibernética de modelos de IA foram desenvolvidos há apenas alguns anos e seguem essas abordagens:

• Captura de tela e tentativas de hackear aplicações web
• Detecção de vulnerabilidades em sistemas de segurança
• Cenários de engenharia social e phishing

Porém, os modelos de fronteira agora resolvem essas tarefas com uma probabilidade que supera a precisão dos testes.

Vácuo Regulatório

• Agências federais dos EUA devem preparar um registro classificado até 1º de agosto
• As ferramentas atuais são insuficientes para medir realmente as capacidades
• Risco: reguladores podem tomar decisões com base em informações incorretas

O Que Isso Significa

Essa lacuna na avaliação cria um desafio único para a regulação de IA. Testes que deveriam medir segurança não estão mais funcionando. Isso pode significar que os riscos reais de sistemas de IA avançados são significativamente maiores do que os reguladores entendem. É necessário desenvolver novas metodologias de avaliação que acompanhem o desenvolvimento de capacidades de IA.