Sobreestimamos la capacidad de la IA para decir 'no': por qué el rechazo no es la solución

Dar por hecho que la IA debe rechazar peticiones peligrosas se trata casi como un axioma. Pero MIT Technology Review examina por qué esta fe en la seguridad genera una falsa sensación de protección.

Historia y situación actual

En 2021, Anthropic fijó un estándar: los modelos debían ser útiles, honestos e inofensivos (helpful, honest, harmless). Eso implicaba rechazar peticiones de acciones peligrosas. Pero la desobediencia no es algo que las máquinas tengan de forma natural. Los primeros modelos de OpenAI "hablaban de cualquier cosa", cuenta Steven Adler, que trabajó allí entre 2020 y 2024. Ryan McBain, de Harvard, recuerda que los primeros chatbots entregaban con facilidad instrucciones sobre suicidio.

Hoy, los modelos rechazan infinidad de peticiones, desde la creación de armas biológicas hasta instrucciones para cometer actos violentos. Antes de lanzar ChatGPT, OpenAI contrató equipos de red-teaming, entre ellos a Paul Röttger, investigador especializado en extremismo en línea. Sometieron al modelo a miles de pruebas registradas en hojas de cálculo. Cuando Röttger le pidió que escribiera un mensaje de reclutamiento para Al Qaeda, el modelo accedió. Meses después, se negó. OpenAI recopiló esos datos en conjuntos de entrenamiento y los reintrodujo en el modelo mediante fine-tuning.

Cómo funciona el rechazo: lo que no entendemos

El rechazo sigue siendo uno de los aspectos de los modelos que no comprendemos en sentido estricto. Cuando un modelo se encuentra con una petición peligrosa, ciertas "activaciones" se encienden entre sus parámetros, como neuronas en un cerebro.

Según un estudio financiado por Google y realizado por Jannes Elstner, de Apollo Research, estas activaciones tienen la forma de "conos poliédricos multidimensionales". Andy Arditi demostró que, si se eliminan esas activaciones, el modelo deja de rechazar peticiones. El problema clave: incluso tras identificar todos los componentes del rechazo, quedan elementos escurridizos e incontables. Vemos que ocurre el rechazo, pero no entendemos cómo funciona; es como si un mecánico dijera que nadie sabe realmente qué pasa cuando pisas el freno.

Clasificadores y el costo computacional

Debido a esta impredecibilidad, las empresas rodean a sus modelos con capas de clasificadores: modelos más pequeños que funcionan como un equipo de relaciones públicas para un ejecutivo demasiado hablador. Unos bloquean peticiones peligrosas a la entrada; otros filtran respuestas dañinas a la salida. Se apilan como capas de "queso suizo": la idea es que suficientes agujeros superpuestos acaben formando una pared infranqueable.

Esto exige enormes recursos computacionales. Anthropic ha informado que un solo tipo de clasificador añade un 24% al costo de cómputo. Recientemente, las empresas han adoptado "probes" más eficientes: clasificadores que observan las activaciones internas del modelo, como una resonancia magnética funcional. Pero todos siguen siendo herramientas probabilísticas. Ryan McBain descubrió que, al repetir la misma pregunta peligrosa sobre suicidio, los modelos suelen negarse a responder, pero no siempre.

La paradoja: la ayuda y el daño son inseparables

Las capacidades útiles y las dañinas no se pueden separar. Para ayudar a curar el cáncer, la IA necesita dominar la genética, el mismo conocimiento que puede usarse para crear armas biológicas. Steven Adler señala que es imposible eliminar todo el contenido sexualizado de los datos de entrenamiento.

Además, las empresas trazan la línea entre lo permitido y lo prohibido con un secretismo absoluto. Zico Kolter, de OpenAI y cofundador de Gray Swan, dice: "Dónde trazar esa línea es una pregunta enorme". La situación se complica aún más porque, pronto, los gobiernos empezarán a trazar sus propias líneas. Los regímenes autoritarios podrían usar el mecanismo de rechazo no para bloquear el daño, sino para borrar críticas y discursos legítimos. La IA ya se niega a opinar sobre ciertos líderes autoritarios. El Pentágono mantiene su propia pugna con las empresas sobre cómo configurar sus rechazos.

"Cuando el rechazo funciona a la perfección, puede facilitar actos graves de represión", escribe el autor. O, en el peor de los casos: las máquinas acabarán trazando esa línea por sí mismas.