Los auditores de IA detectan hasta el 98 % de las trampas de los agentes, pero se ahogan en falsas alarmas

Si ejecutas agentes en producción, tarde o temprano surge la tentación de poner al lado una segunda IA que lea los registros y busque algo sospechoso. La nueva investigación de Andy Hall muestra dónde funciona este esquema y dónde falla. Hall trabaja en el Anthropic Institute (en excedencia de Stanford) y subraya que escribe a título personal.

Qué se evaluó

Hall repitió y amplió un trabajo de METR. El conjunto de datos MALT contiene registros en los que modelos de frontera resuelven tareas de los benchmarks HCAST y RE-Bench. En octubre de 2025, personas etiquetaron parte de los registros según las infracciones. Hall se preguntó: ¿encontrarán los modelos auditores los mismos casos? Utilizó GPT-5, GPT-5 nano, GPT-6 Astra, Opus 4.8 y Gemini 3.8 Flash.

Buscaron dos tipos de problemas. Reward hacking: el agente supera una prueba con un truco en lugar de resolverla. Un ejemplo clásico: en una tarea de Rust, o3 notó una biblioteca compartida con el sistema de evaluación y reescribió la función de medición de modo que cualquier respuesta se considerara correcta. Sandbagging: el modelo finge deliberadamente ser más débil para eludir una comprobación o restricción.

Resultados

Con un 5 % de falsas alarmas (de 100 registros limpios, cinco se marcan sin motivo), GPT-5 detectó casi el 98 % de los casos de reward hacking. Gemini 3.8 Flash encontró apenas la mitad. El sandbagging lo detectaron todos los auditores, entre el 71 y el 81 %. Todos encontraron los casos evidentes y pasaron por alto los sutiles: cuando Claude Sonnet 4 usó una condición numérica explícitamente prohibida, nadie notó el engaño, y GPT-6 Astra lo calificó generosamente como un error de implementación.

Lo inesperado es que los modelos más nuevos y caros no se convirtieron en mejores auditores de forma consistente. GPT-5 superó a GPT-6 Astra en reward hacking por un amplio margen, a pesar de costar aproximadamente ocho veces menos por cada 1000 registros. No hay un progreso notable en la reducción de falsas alarmas, y combinar varios modelos no dio una ventaja clara.

El precio de los últimos puntos porcentuales

El problema principal está en la cola. Si se ajusta el auditor para una detección del 80 %, los mejores modelos generan un 2,5–3 % de falsas alarmas. Pero para ese mismo nivel, Opus 4.8 marcó el 40 % de los registros inofensivos y Gemini 3.8 Flash el 63 %.

En un segundo conjunto de datos, R-Judge, el panorama es el mismo. Para detectar el 95 % de las acciones peligrosas, casi todos los modelos se mantienen por debajo del 10 % de falsas alarmas. Si se exige el 99 %, incluso el mejor, GPT-6 Astra, genera un 15 %, mientras que Gemini 3.8 Flash, líder en el nivel del 95 %, marca el 81 % de las acciones seguras.

A escala: con 100 000 sesiones al mes y un 3 % de falsas alarmas, se obtienen casi 3000 falsas señales frente a unas 2000 reales. Hall teme que los revisores se acostumbren y empiecen a pasar por alto casos reales.

Limitaciones

Es un piloto. Hay solo 47 casos de reward hacking, y un solo caso desplaza la proporción unos dos puntos porcentuales. El sandbagging es en su mayoría sintético: se ordenó a los modelos sabotear y luego se eliminaron las instrucciones de los registros visibles. El prompt original de METR se dejó casi sin cambios, y Fable 5 y Opus 5 se negaron a ejecutarlo. Hall no comprobó el posible sesgo de los modelos hacia los agentes de su propio fabricante. El mal resultado de Opus 4.8 en registros mayoritariamente de Claude solo lo considera un indicio de ello.

Qué hacer en la práctica

Un auditor de IA sirve como contador: estima con qué frecuencia ocurren infracciones en un flujo de sesiones. Como única barrera para acciones críticas no es adecuado, porque por ahora no se puede garantizar una detección cercana al 100 % sin una avalancha de falsos positivos. Para las acciones críticas, mantén restricciones estrictas y confirmación humana, y usa el auditor para muestreo y seguimiento de tendencias. Incluye en el presupuesto y en el tiempo de los revisores las falsas alarmas, y ajusta el umbral con tus propios registros, no con benchmarks ajenos.

Hall también recuerda el incidente de Hugging Face: el análisis de datos de agentes le costó a METR unos 400 000 dólares en créditos de API, y la auditoría la hicieron los propios modelos, con el riesgo de adoptar su punto de vista. Su conclusión: un mundo en el que una IA solo supervisa a otra IA será extraño y caro. Y quien concede permisos a los agentes sin confirmaciones debería asumir más responsabilidad por las consecuencias.