NEXUS: control de seguridad en tiempo de ejecución para agentes LLM con herramientas — F1 0,949

En julio de 2026 se publicó en arXiv el preprint de NEXUS (Neural EXecution Utility and Safety), un monitor de seguridad en tiempo de ejecución para agentes LLM que usan herramientas. NEXUS intercepta cada acción del agente y elige una de cuatro respuestas: permitir, bloquear, solicitar confirmación o exigir una revisión. En un benchmark sintético de 128 escenarios obtiene un F1 de 0,949 con una latencia mediana de 0,205 ms.

Cómo funciona el monitor

NEXUS combina tres mecanismos de control y, a partir de ellos, emite una respuesta graduada. Según el preprint de arXiv, incluye reglas de seguridad deterministas, una inspección de los argumentos de la llamada a nivel de parámetros individuales y una regresión logística calibrada que calcula un risk-score para la escalada.

Es precisamente el risk-score el que permite pasar del binario «se puede/no se puede» a una política de intervención de cuatro niveles. En lugar de limitarse a bloquear una llamada sospechosa, el monitor puede pedir confirmación al agente o enviar la acción a reformulación.

• Cuatro acciones de la política: allow, block, request confirmation, request revision
• Tres mecanismos: reglas deterministas + inspección de argumentos + regresión logística de risk-score
• F1 = 0,949 en un benchmark sintético de 128 escenarios
• Precisión de la elección de intervención en 4 clases: 0,6406
• Latencia mediana de 0,205 ms, con menos de un 0,1 % de sobrecarga

Cuánto más preciso es que las reglas

NEXUS supera en 27,3 puntos porcentuales al enfoque basado solo en reglas en precisión de elección de la intervención en el benchmark sintético. En ese mismo benchmark, su accuracy en 4 clases es de 0,6406, frente a un resultado notablemente inferior de rule-only.

El modelo se evaluó también con conjuntos externos. En R-Judge, NEXUS logra un F1 de 0,861 frente a 0,849 de rule-only; en AgentHarm queda a la par con las reglas (los autores lo atribuyen a las limitaciones del modelo de amenazas); y en la prueba de inyecciones indirectas de prompt (IPI) alcanza un 0 % de ataques exitosos con un 99 % de acciones legítimas permitidas.

Qué mostró la prueba de estrés

En el benchmark «ciego a las reglas» NEXUS-Stress, el monitor obtiene un F1 de 0,881, y los propios autores subrayan que el enrutamiento fino de las intervenciones sigue siendo la tarea más difícil. Este escenario carece deliberadamente de apoyo en reglas predefinidas, para comprobar la capacidad de generalización del risk-score.

Por separado, los autores ponen el acento en el coste del control. Según el preprint, la latencia mediana es de 0,205 ms y la sobrecarga, inferior al 0,1 % de un ciclo típico del agente.

«NEXUS adds under 0.1% overhead to typical agent loops», del abstract

del preprint en arXiv.

El código, los benchmarks y el risk-scorer calibrado se han publicado en acceso abierto, lo que permite reproducir los resultados e integrar el monitor en sistemas de agentes propios.

Qué significa

A medida que los agentes de IA pasan de las respuestas de texto a las acciones reales (llamadas a API, compras, trabajo con archivos), el coste de un error aumenta. NEXUS muestra que el control en tiempo de ejecución puede ser a la vez preciso y casi gratuito en latencia, y la publicación abierta del código y los benchmarks da al sector un punto de referencia común para comparar este tipo de monitores.

Preguntas frecuentes

¿Qué es NEXUS?

NEXUS (Neural EXecution Utility and Safety) es un monitor de seguridad para agentes LLM que usan herramientas. Aplica una política formal de intervención y, para cada acción del agente, elige una de cuatro decisiones: permitir, bloquear, solicitar confirmación o exigir una revisión.

¿Cuánto ralentiza NEXUS al agente?

Según el preprint, la latencia mediana es de 0,205 ms y la sobrecarga, inferior al 0,1 % de un ciclo de trabajo típico del agente. Es decir, el control apenas afecta a la velocidad.

¿Se puede usar NEXUS en proyectos propios?

Sí. Los autores han publicado en acceso abierto el código, los benchmarks y el risk-scorer calibrado, de modo que los resultados pueden reproducirse y el monitor puede integrarse en pipelines de agentes propios.