Modelos de IA abiertos: democratización frente a ciberamenazas

El debate sobre los modelos abiertos se intensifica

Anthropic publicó un informe en el que califica a GLM-5.3 (un modelo de la empresa china Z.ai, lanzado en agosto) como una seria amenaza cibernética. La principal preocupación: el modelo se distribuye libremente y cualquiera puede descargarlo y modificarlo. Se trata de un episodio más en el largo debate sobre si los modelos de IA potentes deben ser abiertos o permanecer bajo el control de los grandes laboratorios.

Detrás de la discusión hay una apuesta comercial considerable. El CEO de Nvidia, Jensen Huang, promueve los modelos abiertos (a su empresa le conviene que la gente compre su propio hardware para ejecutarlos). Dario Amodei, de Anthropic, se muestra más cauteloso, ya que los modelos abiertos baratos amenazan el modelo de negocio de Anthropic. Pero los intereses comerciales encubren diferencias reales sobre cómo debería configurarse el futuro de la IA.

Dos posturas en el debate

David Gray Widder (Universidad de Texas en Austin) señala que la postura que se adopte depende de la visión general sobre la seguridad de la IA. Los defensores de la seguridad temen que los modelos abiertos sean fáciles de usar de forma indebida. Los defensores del acceso insisten en que una tecnología tan poderosa no debería ser monopolio de unas pocas empresas.

Un modelo abierto (como GLM-5.3) consiste en archivos que se descargan y ejecutan en el propio hardware. Un modelo cerrado (ChatGPT, Claude) solo es accesible mediante una API o una interfaz web. Hoy en día, los modelos cerrados son más potentes: los 8 primeros puestos del ranking de Artificial Analysis LLM son todos de modelos cerrados. Pero los modelos abiertos solo van unos meses por detrás en desarrollo.

Ventajas de los modelos abiertos. Los investigadores pueden ver el funcionamiento interno de un modelo y poner a prueba hipótesis sobre su comportamiento. Las empresas ahorran: los modelos abiertos son más baratos que los cerrados, según un informe de Mozilla.

La ejecución local protege datos sensibles: las empresas pueden procesar información confidencial en su propio hardware sin entregarla a terceros. Elizabeth Seger (Tony Blair Institute for Global Change) ve la principal ventaja en que los modelos abiertos debilitan el monopolio de los grandes laboratorios sobre una de las tecnologías clave de la época. Hamish Hobbs (Centre for Long-Term Resilience) añade que un mundo donde todos tienen acceso a una IA potente y segura es mucho menos peligroso que uno donde un solo gobierno controla todos los modelos avanzados de hackeo y ciberataques.

Pero Paul Azunre (Ghana NLP) advierte sobre el reverso de la moneda: las grandes empresas toman las mejoras de los proyectos abiertos y las integran en sus propios productos sin reconocer a los desarrolladores. Mark Zuckerberg ha dicho abiertamente que la capacidad de recoger ideas de la comunidad e integrarlas en Meta es una ventaja clave de los modelos abiertos.

Riesgos de los modelos abiertos. Anthropic publicó un informe sobre ataques realizados con la ayuda de Claude. En julio, agentes de OpenAI vulneraron Hugging Face. Los modelos cerrados revisan las solicitudes entrantes para detectar peligro (hackeo, armas biológicas, etc.) y pueden bloquear la cuenta de un usuario. Pero si se descarga el modelo al propio ordenador, no hay filtro ni manera de revocar el acceso. Los investigadores han demostrado que es fácil reentrenar un modelo abierto para que acepte hacer lo que antes rechazaba. Si se lanzara un modelo abierto de hackeo muy potente, un atacante podría dañar infraestructuras críticas antes de que la gente tuviera tiempo de defenderse.

Pero la situación es más compleja de lo que parece. Tras el ataque, Hugging Face lo analizó utilizando un modelo abierto, porque los modelos cerrados bloqueaban las preguntas sobre el propio hackeo. Algunos expertos trazan un paralelismo con Linux y el software de código abierto: se consideran más seguros gracias a la transparencia y a los miles de desarrolladores independientes que buscan vulnerabilidades. Los modelos abiertos también pueden usarse para la ciberdefensa: la misma herramienta que sirve para atacar sirve para defenderse. Anthropic pone sus modelos a disposición para la ciberdefensa a través de Project Glasswing, pero solo para empresas seleccionadas. Los modelos abiertos resultan más universales en este sentido.

Aun así, la mayoría de los expertos considera que los modelos abiertos son más riesgosos. Elizabeth Seger señala que el peligro principal reside en eventos raros pero catastróficos. Si un modelo con objetivos propios empezara a causar daño, la descentralización dificultaría detectar el problema.

En busca de un término medio

Durante mucho tiempo el debate fue binario: apertura total o seguridad total. Pero crece la idea de que existen opciones entre la prohibición total de los modelos abiertos y su distribución irresponsable. Cualquier enfoque exige un compromiso entre protección y democratización. Para decidir con criterio si se debe apoyar o restringir la producción de modelos abiertos, hace falta comprender estos riesgos y beneficios en toda su profundidad.