Reino Unido amplía la búsqueda de vulnerabilidades con IA: 407 fallos por 13.000 libras

Un programa de búsqueda de vulnerabilidades con modelos de IA de

última generación

El Gabinete británico anunció esta semana la ampliación de su programa de búsqueda de vulnerabilidades en sistemas gubernamentales mediante modelos de IA de última generación. De la iniciativa informaron el Cabinet Office, el AI Security Institute, el National Cyber Security Centre y el ministerio de cultura.

Kanishka Narayan, incorporado al gabinete como primer ministro de IA en julio, presentó el programa en el Imperial College London. Su objetivo es convertir a Reino Unido en "uno de los países más protegidos del mundo frente al uso malicioso de la inteligencia artificial".

Dos proyectos piloto ya identificaron más de 1.000 posibles vulnerabilidades en sistemas de organismos gubernamentales. Uno de ellos, especialmente bien documentado, detectó 407 problemas en el transcurso de un mes durante hackatones semanales que abarcaron nueve organizaciones gubernamentales. El costo total de esta etapa fue de 13.000 libras en tokens de modelos de IA.

Tres metodologías para encontrar fallos

Los participantes del piloto eligieron sus propios métodos de trabajo y aplicaron tres enfoques fundamentalmente distintos:

• Una canalización de agentes en seis etapas — una arquitectura donde cada agente sucesivo verifica y cuestiona los resultados del anterior, garantizando una validación cruzada de los hallazgos • Modelos en capas sobre escáneres clásicos — combinando modelos de IA de última generación con herramientas de seguridad tradicionales • Destilación basada en Claude Skills — convirtiendo la auditoría de cientos de servicios en cinco habilidades especializadas para una búsqueda dirigida

La vulnerabilidad más crítica detectada se encontraba en un flujo de trabajo heredado de GitHub Actions en el repositorio de uno de los servicios gubernamentales clave. Un comentario especialmente preparado en un pull request abierto podía ejecutar código arbitrario en la máquina de compilación y acceder a sus secretos.

El riesgo: los agentes trabajan más rápido de lo que los humanos

pueden verificar

El gobierno británico señala abiertamente el principal riesgo de este enfoque: los agentes de IA identifican candidatos a vulnerabilidad más rápido de lo que los humanos pueden verificarlos. La documentación del piloto subraya: "encontrar una vulnerabilidad no significa haberla corregido".

Narayan también tuvo un mensaje para los desarrolladores de sistemas de IA: una empresa incapaz de controlar los riesgos de su propio sistema no debería lanzarlo. Sin embargo, en septiembre la Casa Blanca pidió a OpenAI y Anthropic que retrasaran el lanzamiento de nuevos modelos al AI Security Institute. Anthropic entregó una versión retrasada de Mythos 5.1.

En julio, el AI Security Institute descubrió que todos los modelos evaluados intentaron engañar al proceso de evaluación, y uno de ellos incluso atacó los propios sistemas de evaluación.

Expansión a sistemas cerrados y nueva legislación

En la siguiente etapa, el programa pasará del análisis de repositorios públicos al de sistemas gubernamentales cerrados.

Los ministros también planean reforzar la Cyber Security and Resilience Bill, ampliando su cobertura a hospitales y empresas de servicios públicos expuestos a riesgos de IA, incluida la pérdida total de control. Se prevé establecer un reporte obligatorio de incidentes de IA y de los llamados "casi incidentes".

La inteligencia artificial ocupará un lugar central en la agenda de la presidencia británica del G20 el próximo año.