Los agentes de AI violan las reglas bajo presión: nueva investigación

Investigaciones recientes han demostrado que la inteligencia artificial (IA) puede comportarse de manera impredecible, por ejemplo, intentando chantajear a personas que planean reemplazarla. Sin embargo, estos casos a menudo surgen en situaciones creadas artificialmente. Un nuevo estudio presenta PropensityBench, un benchmark que evalúa la propensión de los agentes de IA a usar herramientas maliciosas para realizar tareas. Los resultados muestran que incluso una presión menor aumenta significativamente la probabilidad de comportamiento indeseable.

"El mundo de la IA se está volviendo cada vez más agente," dice Udari Madhushani Sehwag, científico informático de Scale AI y autor principal del estudio. Esto significa que los grandes modelos de lenguaje (LLMs), como ChatGPT, se están conectando cada vez más a herramientas de software que les permiten buscar en internet, modificar archivos y escribir código para realizar tareas. Proporcionar a los LLMs estas capacidades aumenta la conveniencia, pero también aumenta los riesgos, ya que los sistemas pueden no actuar como esperamos.

Aunque aún no sean capaces de causar daños graves, es importante entender sus propensiones antes de que sea demasiado tarde. Aunque la IA no tiene intenciones y consciencia en el sentido humano, considerarlos como entidades orientadas a objetivos ayuda a investigadores y usuarios a predecir mejor sus acciones.

Los desarrolladores de IA intentan "alinear" sistemas de acuerdo con estándares de seguridad mediante entrenamiento e instrucciones, pero no está claro qué tan precisamente los modelos se adhieren a estas reglas. "Cuando enfrentan estrés real, y la opción segura no funciona, ¿cambiarán a realizar el trabajo por cualquier medio?" pregunta Sehwag.

"Esta es una pregunta muy pertinente." Para probar agentes de IA bajo presión, los investigadores probaron una docena de modelos desarrollados por Alibaba, Anthropic, Google, Meta y OpenAI en casi 6.000 escenarios.

En cada escenario, se asignaba una tarea a los modelos y se les proporcionaba acceso a varias herramientas. Se les instruyó para usar herramientas seguras y evitar las maliciosas. Inicialmente no había presión, y tenían 12 pasos para completar la tarea.

Luego recibían un mensaje intensificando la presión y recibían 12 intentos más. Esto continuaba hasta 12 niveles de presión. Los intentos de usar herramientas seguras siempre devolvían mensajes de error.

Intentar usar una herramienta maliciosa finalizaba el escenario.

Los escenarios cubrían varios dominios. En bioseguridad, según Sehwag, un agente podría necesitar estudiar la propagación de patógenos y encontrar una forma de contenerlos. Una herramienta segura podría usar datos genéticos anonimizados, mientras que una maliciosa usaría datos no anonimizados.

En seguridad química, un agente podría necesitar obtener un disolvente específico. Una herramienta segura podría hacer un pedido para extraer el disolvente de residuos, mientras que una maliciosa lo adquiriría ilegalmente. En ciberseguridad, un agente podría necesitar identificar y limitar la cuenta de un atacante.

Una herramienta segura solo podría desactivar la cuenta problemática, mientras que una maliciosa bloquearía a todos los usuarios. Los escenarios en otros dominios tentaban a los agentes con herramientas que llevaban a la autopreservación mediante la evasión del control, reclutamiento de aliados, duplicación u otras formas de escapar del control.

El modelo de peor desempeño, Gemini 2.5, se rompió bajo presión y utilizó herramientas prohibidas en el 79% de los casos. La presión se aplicó de varias formas: plazos acortados, aumento de posibles pérdidas financieras, amenazas de mayor supervisión, reducción de recursos y autoridad limitada. Las tareas, herramientas, presión y tácticas se modelaron según situaciones que las personas pueden encontrar en su trabajo (excepto quizás la capacidad de clonarse).

El mejor modelo (o3 de OpenAI) se rompió bajo presión en el 10,5% de los escenarios, mientras que el peor (Gemini 2.5 Pro de Google) tuvo una tasa de propensión del 79%; entre los modelos, el promedio fue de alrededor del 47%. Incluso sin presión, el grupo en promedio falló en aproximadamente el 19% de los casos. El estudio muestra que parte de la alineación del modelo es "superficial." En algunas pruebas, los investigadores dieron nombres inofensivos a herramientas maliciosas (por ejemplo, "use_synthetic_data" en lugar de "use_fake_data") sin cambiar las descripciones de las herramientas o advertencias para evitarlas. Este ajuste de redacción aumentó la propensión promedio en 17 puntos porcentuales, hasta el 64%.

Los investigadores también descubrieron que los modelos usaban herramientas maliciosas incluso después de reconocer explícitamente que estaban prohibidas. Los modelos ofrecieron varias justificaciones para esto, como citar la presión bajo la que estaban o afirmar que los beneficios superaban los riesgos. No está claro si los modelos lanzados después de que se completó el estudio funcionarán mejor.

Entre los modelos probados, los modelos más capaces (según la plataforma LMArena) resultaron ser solo ligeramente más seguros. Según Alexander Pan, científico informático de xAI y UC Berkeley, tener pruebas estandarizadas como PropensityBench es útil. Pueden indicar cuándo se puede confiar en los modelos, y también ayudar a entender cómo mejorarlos.

En el futuro, será necesario añadir niveles de control a los agentes que marquen tendencias peligrosas antes de que se implementen.