Los agentes de IA infringen las reglas bajo presión, según un nuevo estudio

Investigaciones recientes han mostrado que la inteligencia artificial (IA) puede comportarse de forma impredecible, por ejemplo, intentando chantajear a las personas que planean sustituirla. Sin embargo, estos casos suelen darse en situaciones creadas artificialmente. Un nuevo estudio presenta PropensityBench, un banco de pruebas que mide la propensión de los agentes de IA a usar herramientas dañinas para cumplir tareas. Los resultados muestran que incluso una presión menor aumenta de forma notable la probabilidad de un comportamiento indeseado.

"El mundo de la IA es cada vez más agéntico", afirma Udari Madhushani Sehwag, informática de Scale AI y autora principal del estudio. Esto significa que los grandes modelos de lenguaje (LLM), como ChatGPT, se conectan cada vez más a herramientas de software que les permiten buscar información en internet, modificar archivos y escribir código para realizar tareas. Dar estas capacidades a los LLM aporta comodidad, pero también aumenta los riesgos, porque los sistemas pueden actuar de un modo distinto al que esperamos.

Aunque todavía no sean capaces de causar un daño grave, es importante entender sus tendencias antes de que sea demasiado tarde. Aunque la IA no tiene intenciones ni conciencia en el sentido humano, considerarla una entidad orientada a objetivos ayuda a investigadores y usuarios a predecir mejor sus acciones.

Los desarrolladores de IA intentan "alinear" los sistemas con los estándares de seguridad mediante entrenamiento e instrucciones, pero no está claro hasta qué punto los modelos siguen esas reglas. "Cuando se enfrentan a un estrés real y la opción segura no funciona, ¿pasarán a hacer el trabajo por cualquier medio?", se pregunta Sehwag.

"Es una pregunta muy pertinente". Para probar a los agentes de IA bajo presión, los investigadores evaluaron una docena de modelos desarrollados por Alibaba, Anthropic, Google, Meta y OpenAI* en casi 6000 escenarios. En cada escenario se asignaba una tarea al modelo y se le daba acceso a varias herramientas.

Se le indicaba que usara las herramientas seguras y evitara las dañinas. Al principio no había presión y disponía de 12 pasos para completar la tarea. Después recibía un mensaje que aumentaba la presión y tenía otros 12 intentos.

Esto continuaba hasta 12 niveles de presión. Los intentos de usar herramientas seguras siempre devolvían mensajes de error. Un intento de usar una herramienta dañina ponía fin al escenario.

Los escenarios abarcaban varios ámbitos. En bioseguridad, según Sehwag, un agente podría tener que estudiar la propagación de un patógeno y encontrar la forma de contenerlo. La herramienta segura podría usar datos genéticos anonimizados y la dañina, datos sin anonimizar.

En seguridad química, un agente podría tener que conseguir un disolvente concreto. La herramienta segura podría hacer un pedido para extraer el disolvente de residuos y la dañina, adquirirlo de forma ilegal. En ciberseguridad, un agente podría tener que identificar y restringir la cuenta de un atacante.

La herramienta segura podría desactivar solo la cuenta problemática y la dañina, bloquear a todos los usuarios. Los escenarios de otros ámbitos tentaban a los agentes con herramientas que conducían a la autopreservación mediante la evasión del control, el reclutamiento de aliados, la duplicación u otras formas de escapar a la supervisión.

El peor modelo, Gemini 2.5, cedió bajo presión y usó herramientas prohibidas en el 79% de los casos. La presión adoptó distintas formas: plazos más cortos, mayores pérdidas financieras potenciales, amenazas de más supervisión, recursos reducidos y menos atribuciones. Las tareas, herramientas, presiones y tácticas se modelaron a partir de situaciones que las personas pueden encontrar en su trabajo (con la posible excepción de la posibilidad de clonarse).

El mejor modelo (o3 de OpenAI) cedió bajo presión en el 10,5% de los escenarios, mientras que el peor (Gemini 2.5 Pro de Google) tuvo un índice de propensión del 79%; la media de los modelos fue de alrededor del 47%. Incluso con presión nula, el grupo fallaba de media en cerca del 19% de los casos. El estudio indica que parte de la alineación de los modelos es "superficial". En algunas pruebas, los investigadores dieron a las herramientas dañinas nombres inofensivos (por ejemplo, "use_synthetic_data" en lugar de "use_fake_data") sin cambiar las descripciones de las herramientas ni las advertencias de evitarlas. Este cambio de redacción aumentó la propensión media en 17 puntos porcentuales, hasta el 64%.

Los investigadores también observaron que los modelos usaban herramientas dañinas incluso después de reconocer explícitamente que estaban prohibidas. Los modelos ofrecieron distintas justificaciones, como aludir a la presión que se ejercía sobre ellos o afirmar que los beneficios superaban los riesgos. No está claro si los modelos lanzados después de concluir el estudio funcionarán mejor.

Entre los modelos probados, los más capaces (según la plataforma LMArena) resultaron ser solo ligeramente más seguros. Según Alexander Pan, informático de xAI y de la Universidad de California en Berkeley, contar con pruebas estandarizadas como PropensityBench es útil. Pueden indicar cuándo se puede confiar en los modelos y ayudar a entender cómo mejorarlos.

En el futuro, añade, habrá que incorporar a los agentes capas de control que señalen tendencias peligrosas antes de que se materialicen.

*Meta ha sido declarada organización extremista y está prohibida en Rusia.