MIT Technology Review: sobrestimamos la capacidad de la IA para decir «no»

Desde 1942, cuando Isaac Asimov formuló sus Tres Leyes de la Robótica, y desde 1968, cuando HAL 9000 pronunció «I'm afraid I can't do that, Dave», la cultura mantiene un supuesto: la verdadera inteligencia de una máquina implica la capacidad de negarse. La ciencia ficción casi siempre presentó esa negativa como una amenaza. En su nueva columna, MIT Technology Review plantea lo contrario. Hoy se presenta cada vez más la capacidad de la IA para decir «no» como el principal dispositivo de seguridad, y la redacción de la revista considera que depositamos demasiadas esperanzas en él.

En el fragmento disponible del texto, la tesis se formula con cautela, pero la dirección es clara. La idea de que una IA no debe ejecutar cualquier orden ha pasado de las tramas sobre rebeliones a la práctica del desarrollo. A continuación analizo por qué esa fe es arriesgada. Es un análisis propio, basado en las propiedades conocidas de los modelos actuales, y no un resumen de toda la columna.

De dónde viene la fe en el «no» de la máquina

La lógica es simple y atractiva. Si un modelo puede reconocer una petición dañina y rechazarla, se pueden construir productos sobre sistemas más potentes sin temer los abusos. Los grandes laboratorios invierten en entrenar rechazos: conjuntos de reglas, aprendizaje por refuerzo a partir de la retroalimentación humana y clasificadores independientes en la entrada y la salida. Algunas empresas han ido más lejos y permiten que los modelos pongan fin a conversaciones especialmente tóxicas. Así, el «no» pasa de ser un efecto secundario a una función declarada.

El problema es que esa negativa tiene una naturaleza distinta de la humana. No surge de entender las consecuencias ni va acompañada de responsabilidad. Es un hábito estadístico formado durante el entrenamiento, y se transfiere mal a situaciones que no estaban en los datos de entrenamiento.

Dónde falla la negativa

El «no» tiene varios puntos débiles:

• Naturaleza probabilística. Una misma petición, formulada de distintas maneras, puede recibir tanto una negativa como una aceptación.
• Dependencia del contexto. Una solicitud dañina dividida en pasos inofensivos o envuelta en un juego de rol suele pasar. Esta clase de elusiones (jailbreak) se conoce desde hace tiempo y no está del todo resuelta.
• Falsos positivos. Un modelo ajustado para negarse con más frecuencia empieza a rechazar tareas legítimas: consultas médicas, investigaciones de seguridad, casos jurídicos.
• Escenarios con agentes. Cuando la IA tiene acceso al correo, a los archivos, a las API de pago y a la terminal, el coste de un error lo determina la acción ejecutada, no el texto de la respuesta.
• Responsabilidad difusa. La frase «el modelo debería haberse negado» resulta cómoda como excusa, pero desde el punto de vista jurídico no resuelve nada.

Esto importa especialmente en el caso de los agentes. Un chatbot que acepta por error produce un mal texto. Un agente que acepta por error borra una base de datos o envía dinero. Apoyarse aquí en la «conciencia» del modelo equivale a poner a un becario en producción con acceso total y confiar en su sentido común.

Qué deben hacer los equipos que implantan IA

La negativa del modelo debe considerarse una capa de protección más, y no la más fiable. Todo lo demás tiene que funcionar con independencia de lo que haya decidido el modelo.

En la práctica, esto significa lo siguiente. Los permisos del agente se limitan a nivel de infraestructura: tokens con el mínimo necesario, entornos aislados (sandboxes) y límites en los importes y el volumen de operaciones. Las acciones irreversibles pasan por la confirmación de una persona o por reglas estrictas ajenas al modelo. Se mantienen registros de las acciones que permiten reconstruir la cadena de decisiones. El sistema se somete con regularidad a pruebas de red team, y no solo en busca de «respuestas peligrosas», sino también de secuencias de acciones peligrosas. Las métricas de calidad deben contemplar ambos errores: el daño que se escapa y la negativa innecesaria.

La capacidad de la IA para decir «no» es útil, y nadie propone renunciar a ella. Pero diseñar sistemas como si ese «no» fuera a sonar siempre a tiempo es repetir el error de los protagonistas de aquellos mismos relatos de ciencia ficción, en los que el dispositivo de seguridad funcionaba justo hasta el primer caso imprevisto.