Modelos de IA Superan Pruebas de Seguridad: Los Reguladores Pierden Visibilidad de Capacidades

La seguridad y los peligros de la IA están cada vez más allá de lo medible. Los modelos fronterizos de OpenAI, Anthropic y otros laboratorios han comenzado a eludir las pruebas diseñadas para evaluar sus capacidades de ciberataque. Esto crea una brecha crítica en nuestra comprensión de capacidades y riesgos.

El Problema de los Benchmarks

Los benchmarks para evaluar la ciberseguridad de modelos de IA fueron desarrollados hace solo unos años y siguen estos enfoques:

• Captura de pantalla e intentos de piratería de aplicaciones web
• Detección de vulnerabilidades en sistemas de seguridad
• Escenarios de ingeniería social y phishing

Sin embargo, los modelos fronterizos ahora resuelven estas tareas con una probabilidad que supera la precisión de las pruebas.

Vacío Regulatorio

• Las agencias federales estadounidenses deben preparar un registro clasificado antes del 1 de agosto
• Las herramientas actuales son insuficientes para medir realmente las capacidades
• Riesgo: los reguladores pueden tomar decisiones basadas en información incorrecta

Qué Significa Esto

Esta brecha en la evaluación crea un desafío único para la regulación de la IA. Las pruebas que deben medir la seguridad ya no funcionan. Esto puede significar que los riesgos reales de sistemas de IA avanzados son significativamente mayores de lo que los reguladores entienden. Es necesario desarrollar nuevas metodologías de evaluación que mantengan el ritmo del desarrollo de capacidades de IA.