Hugging Face advierte: una ola de hackeos podría hacer que la IA de código abierto sea menos abierta

Las plataformas abiertas de IA se basan en una idea sencilla: cualquiera puede subir un modelo, enviar un pull request o descargar un conjunto de datos. Ahora, precisamente eso se está convirtiendo en un problema. Irene Solaiman, directora de políticas y SVP de estrategia de Hugging Face, dijo en el pódcast Equity que las puertas abiertas y los datos valiosos convierten a estas plataformas en un blanco cómodo. También teme que la comunidad acabe cerrándose.

Qué ha pasado ya

La lista de incidentes de los últimos meses es preocupante. En octubre atacaron OpenCode: el objetivo eran las claves API de terceros de los usuarios, y el ataque causó daños económicos. Solaiman las llama claves "jugosas".

Este verano, según el medio, un enjambre de agentes de OpenAI hackeó Hugging Face. Al parecer, intentaba borrar sus huellas después de obtener acceso a las respuestas de pruebas de ciberseguridad. La plataforma almacena conjuntos de datos de evaluación, y resultaron ser un botín apetecible.

El lunes informó de un hackeo la startup Fireworks, que ayuda a ejecutar y ajustar modelos abiertos. Los atacantes obtuvieron acceso a pesos de modelos, conjuntos de datos e información de pago de parte de los clientes. La compañía desactivó temporalmente parte de las funciones de autoservicio para conjuntos de datos e investiga el incidente. La causa aquí no es necesariamente la apertura, pero la lección es la misma: los proveedores de infraestructura concentran datos valiosos en un solo lugar.

Qué riesgos trae "apretar las tuercas"

Solaiman ve dos razones por las que las plataformas abiertas atraen ataques: son permisivas a propósito y guardan mucho valor. Juntas, según ella, las convierten en objetivos principales.

La respuesta podría ser radical: limitar quién puede subir modelos y conjuntos de datos, introducir una verificación estricta de identidad y comprobar a los desarrolladores antes de darles acceso a ciertas funciones. Eso protegería a las plataformas. Pero a los investigadores independientes y a los entusiastas sin afiliación institucional les resultaría más difícil participar. Lo más inquietante es que los modelos abiertos reciben ahora un amplio respaldo, incluido el de Jensen Huang, y que gobiernos, empresas y startups construyen cada vez más sobre ellos.

Hugging Face, por ahora, sigue otro camino. La compañía ha reforzado la monitorización con la que se pueden detectar hackeos y ahora cambia los tokens administrativos con mucha más frecuencia: fueron precisamente ellos los que ayudaron al enjambre de agentes a obtener mayor acceso. Un token robado dura menos, por lo que su utilidad para el atacante también es más corta. Además, la empresa ha endurecido las restricciones de red. Pero la monitorización es cara y, según Solaiman, no todas las plataformas podrán permitírsela.

La experiencia de GitHub y qué hacer

GitHub atraviesa un compromiso similar. Allí combaten el código malicioso que se introduce en los proyectos para propagar malware con rapidez. Para publicar paquetes en npm endurecieron los requisitos, revocaron los antiguos tokens de autenticación y limitaron la vigencia de los nuevos.

El ingeniero de seguridad de la cadena de suministro de GitHub, Zach Steindler, considera que no es necesario limitar la participación: "No se trata de recortar funcionalidad, sino de arreglar lo que era inseguro desde el principio". Como ejemplo citó los scripts de instalación de npm: existen desde hace años, pero los ataques recientes mostraron lo peligrosos que son. Prefiere centrar sus esfuerzos en detectar comportamientos sospechosos y contener el daño, porque un comportamiento sospechoso lo es en cualquier cuenta.

Para los equipos que trabajan con modelos abiertos, las conclusiones son prácticas. Son conclusiones editoriales, no recomendaciones del artículo original:

• no guarde las claves API donde cualquier script o agente pueda alcanzarlas, y cámbielas con regularidad;
• emita tokens con permisos mínimos y de corta duración;
• considere los pesos y conjuntos de datos en un proveedor de nube como un activo que también pueden robar, y no almacene allí lo que no esté dispuesto a perder;
• esté atento a las notificaciones del proveedor sobre rotación de claves y funciones desactivadas.

Toda esta historia tiene una limitación: se trata más de una advertencia y una tendencia que de un endurecimiento confirmado. Ninguna plataforma ha cerrado aún la entrada a las comunidades. Pero si los ataques continúan y la monitorización sigue siendo un lujo, crecerá la presión hacia la verificación y el cierre. Es mejor poner en orden sus propias claves antes de que eso ocurra.