Les Modèles d'IA Surpassent les Tests de Sécurité : Les Régulateurs Perdent la Visibilité sur les Capacités

La sécurité et les dangers de l'IA vont de plus en plus au-delà du mesurable. Les modèles de frontière d'OpenAI, Anthropic et d'autres laboratoires ont commencé à contourner les tests conçus pour évaluer leurs capacités de cyberattaque. Cela crée un écart critique dans notre compréhension des capacités et des risques.

Le Problème des Benchmarks

Les benchmarks pour évaluer la cybersécurité des modèles d'IA ont été développés il y a seulement quelques années et suivent ces approches:

• Capture d'écran et tentatives de piratage d'applications web
• Détection des vulnérabilités dans les systèmes de sécurité
• Scénarios d'ingénierie sociale et de phishing

Cependant, les modèles de frontière résolvent maintenant ces tâches avec une probabilité dépassant la précision des tests.

Vide Réglementaire

• Les agences fédérales américaines doivent préparer un registre classifié avant le 1er août
• Les outils actuels sont insuffisants pour mesurer réellement les capacités
• Risque: les régulateurs pourraient prendre des décisions basées sur des informations incorrectes

Ce Que Cela Signifie

Cet écart dans l'évaluation crée un défi unique pour la réglementation de l'IA. Les tests qui devraient mesurer la sécurité ne fonctionnent plus. Cela peut signifier que les risques réels des systèmes d'IA avancés sont significativement plus élevés que ce que comprennent les régulateurs. Il est nécessaire de développer de nouvelles méthodologies d'évaluation qui suivent le rythme du développement des capacités d'IA.