Los agentes con GPT-4o-mini y GPT-5.2 incumplen las reglas sin hacer ruido en τ²-bench

Un grupo de investigadores estudió agentes basados en grandes modelos de lenguaje que usan herramientas (tool-using LLM agents) y descubrió que pueden incumplir en silencio las mismas políticas que deben respetar, mientras la tarea parece completada con éxito. El trabajo se publicó en arXiv el 7 de julio de 2026.

Qué es una infracción silenciosa de la política

En entornos donde una herramienta puede ejecutar técnicamente cualquier llamada bien formada, incluso si va contra las reglas del dominio (policy-permissive environments), aparece un «estado erróneo silencioso»: una reserva cancelada, un número de pasajeros modificado, una reclamación tramitada sin verificar. Ni la herramienta ni el informe del agente sobre sus propias acciones señalan error alguno.

El equipo probó este escenario en el benchmark τ²-bench, en el dominio de aerolíneas. En el agente «económico», el 78% de todos los fallos registrados fueron precisamente infracciones silenciosas del estado, sin un solo error de la herramienta, y la frecuencia total de fallos se reproduce en conjuntos independientes de semillas, por lo que no es ruido de muestreo.

Cuánto ayudan las puertas deterministas

Los autores propusieron una intervención ligera: comprobaciones deterministas de solo lectura (gates) que examinan la llamada propuesta y el estado actual del sistema antes de permitir una escritura.

• Un conjunto de cuatro puertas elevó el éxito en el benchmark completo del 29,6% al 42,0% en gpt-4o-mini (+12,4 puntos porcentuales; P=0,0012)
• El efecto se reprodujo en un conjunto independiente de 15 semillas (+12,3 p. p.; P=0,0008)
• En 26 de las 50 tareas en las que las puertas se activaron realmente, el éxito subió +19,2 p. p.
• En el modelo insignia gpt-5.2 con la configuración de razonamiento por defecto, el mismo conjunto de puertas elevó el éxito del 61,2% al 71,6% (+10,4 p. p.; P=0,020, aunque con una muestra de solo 5 ejecuciones y sin repetir el experimento)

Dos controles negativos, un dominio retail autosuficiente donde las herramientas vigilan la política por sí mismas y el benchmark BFCL, delimitaron el alcance del método: las puertas ayudan donde las herramientas permiten infringir la política y apenas tienen efecto donde las herramientas ya la hacen cumplir por su cuenta.

Qué significa

Incluso modelos insignia como gpt-5.2 siguen intentando escrituras que infringen la política, así que el problema no desaparece al mejorar el modelo. Los autores subrayan que las puertas deterministas no garantizan el éxito de la tarea completa, pero bloquean de forma fiable una clase concreta de infracciones silenciosas en la frontera de la acción, justo donde el agente está a punto de cambiar algo en el sistema.

Preguntas frecuentes

¿Qué es τ²-bench?

Es un benchmark para probar agentes de IA con herramientas en el dominio de aerolíneas, con el que los investigadores detectaron y midieron las infracciones silenciosas de la política.

¿Cómo funcionan las puertas deterministas?

Son comprobaciones de solo lectura que, antes de ejecutar una escritura, analizan la llamada propuesta a la herramienta y el estado actual del sistema, y bloquean las llamadas que infringen las reglas del dominio.

¿Funciona el método en los modelos de primer nivel?

Sí: en gpt-5.2 con razonamiento por defecto, el mismo conjunto de cuatro puertas elevó el éxito del 61,2% al 71,6%, aunque los autores señalan que este resultado procede de una muestra pequeña de 5 ejecuciones y aún no se ha reproducido.