NEXUS: controle de segurança em tempo de execução para agentes de LLM com ferramentas — F1 de 0,949

Em julho de 2026, foi publicado no arXiv o preprint do NEXUS (Neural EXecution Utility and Safety), um monitor de segurança em tempo de execução para agentes de LLM que usam ferramentas. O NEXUS intercepta cada ação do agente e escolhe uma entre quatro respostas: permitir, bloquear, pedir confirmação ou exigir revisão. Em um benchmark sintético de 128 cenários, ele alcança F1 de 0,949 com latência mediana de 0,205 ms.

Como funciona o monitor

O NEXUS combina três mecanismos de controle e, a partir deles, produz uma resposta graduada. Segundo o preprint no arXiv, o sistema reúne regras de segurança determinísticas, inspeção dos argumentos da chamada no nível de cada parâmetro e uma regressão logística calibrada que calcula um risk-score para escalonamento.

É justamente o risk-score que permite sair do binário "pode/não pode" e adotar uma política de intervenção em quatro níveis. Em vez de simplesmente bloquear uma chamada suspeita, o monitor pode pedir confirmação ao agente ou mandar a ação para reformulação.

• Quatro ações da política: allow, block, request confirmation, request revision
• Três mecanismos: regras determinísticas + inspeção de argumentos + regressão logística de risk-score
• F1 = 0,949 no benchmark sintético de 128 cenários
• Acurácia da escolha de intervenção em 4 classes: 0,6406
• Latência mediana de 0,205 ms, com menos de 0,1% de sobrecarga

Quão mais preciso que as regras

O NEXUS supera a abordagem baseada apenas em regras em 27,3 pontos percentuais na acurácia da escolha de intervenção no benchmark sintético. No mesmo teste, sua acurácia em 4 classes é de 0,6406, contra um resultado visivelmente mais baixo do rule-only.

O modelo também foi avaliado em conjuntos externos. No R-Judge, o NEXUS obtém F1 de 0,861, contra 0,849 do rule-only. No AgentHarm, fica no mesmo nível das regras (os autores atribuem isso às limitações do modelo de ameaças). No teste de injeções indiretas de prompt (IPI), chega a 0% de ataques bem-sucedidos com 99% das ações legítimas permitidas.

O que mostrou o teste de estresse

No benchmark "cego às regras" NEXUS-Stress, o monitor registra F1 de 0,881, e os próprios autores destacam que o roteamento fino das intervenções continua sendo a tarefa mais difícil. Esse cenário foi desenhado sem apoio em regras pré-definidas, justamente para testar a capacidade de generalização do risk-score.

Os autores também dão ênfase ao custo do controle. Segundo o preprint, a latência mediana é de 0,205 ms e a sobrecarga fica abaixo de 0,1% de um ciclo típico do agente.

«NEXUS adds under 0.1% overhead to typical agent loops» — do abstract

do preprint no arXiv.

O código, os benchmarks e o risk-scorer calibrado foram disponibilizados em acesso aberto, o que permite reproduzir os resultados e integrar o monitor a sistemas agênticos próprios.

O que isso significa

À medida que os agentes de IA passam de respostas em texto para ações reais — chamadas de API, compras, manipulação de arquivos —, o custo de um erro aumenta. O NEXUS mostra que o controle em tempo de execução pode ser, ao mesmo tempo, preciso e quase gratuito em termos de latência. Já a publicação aberta de código e benchmarks dá ao setor um ponto de referência comum para comparar esse tipo de monitor.

Perguntas frequentes

O que é o NEXUS?

O NEXUS (Neural EXecution Utility and Safety) é um monitor de segurança para agentes de LLM que usam ferramentas. Ele aplica uma política formal de intervenção e, para cada ação do agente, escolhe uma de quatro decisões: permitir, bloquear, pedir confirmação ou exigir revisão.

Quanto o NEXUS deixa o agente mais lento?

Segundo o preprint, a latência mediana é de 0,205 ms e a sobrecarga fica abaixo de 0,1% do ciclo típico de trabalho do agente. Ou seja, o controle praticamente não afeta a velocidade.

É possível usar o NEXUS em projetos próprios?

Sim. Os autores liberaram em acesso aberto o código, os benchmarks e o risk-scorer calibrado, então é possível reproduzir os resultados e integrar o monitor aos próprios pipelines de agentes.