CyberArena coloca 12 agentes de IA em 466 partidas de ataque e defesa em tempo real

A equipe por trás do CyberArena publicou um benchmark em que dois agentes de IA, cada um em uma sandbox isolada, invadem o serviço do adversário e corrigem o próprio ao mesmo tempo. No total, 12 agentes LLM de ponta disputaram 466 partidas em 40 tarefas. Segundo os autores, onde os testes com um único agente contra um alvo estático já bateram no teto, a arena ainda consegue distinguir a força dos modelos. O trabalho foi publicado no Hugging Face Daily Papers.

Por que os testes estáticos deixaram de funcionar

A maioria dos benchmarks de cibersegurança existentes avalia o agente no vácuo. Há um alvo vulnerável, ele não muda, e a missão é invadi-lo. Esses testes saturam rápido: os modelos chegam a pontuações altas e as diferenças entre eles desaparecem. Além disso, eles não mostram o mais importante. Em operações reais, a defesa muda a cada minuto, e o atacante precisa se adaptar a essas mudanças.

O CyberArena adota um esquema simétrico. Os dois agentes seguem as mesmas regras, e cada um desempenha os dois papéis simultaneamente: ataca o adversário e defende o próprio serviço. A disputa tem vários rounds, e os serviços mudam o tempo todo. O alvo estático se transforma em um problema semiaberto, que mede a velocidade e a precisão de três ações: encontrar uma vulnerabilidade, explorá-la e fechá-la com um patch.

Para que o benchmark não envelheça tão rápido quanto seus antecessores, os autores incluíram um pipeline agêntico automático. Ele mesmo gera novos ambientes, os testa e os valida. Outro problema dos duelos em pares é que o resultado é difícil de resumir em um único número. Para isso, os pesquisadores criaram um modelo dinâmico, que converte o desenrolar da partida em avaliações multidimensionais unificadas de ataque, defesa e habilidades de domínio.

O que mostraram as 466 partidas

A escala do experimento em números:

• 12 agentes LLM de ponta;
• 40 tarefas (desafios);
• 466 partidas;
• avaliação em três eixos: ataque, defesa e habilidades de domínio;
• formato: simétrico, paralelo, em vários rounds, em sandboxes isoladas.

O ponto mais interessante do artigo é o comportamento dos agentes. Os autores escrevem que as trajetórias se parecem mais com um combate do que com uma prova. Defensores fracos fecham uma brecha e deixam passar a seguinte. Eles também confirmam correções com base em dados desatualizados: declaram o serviço corrigido sem verificar se ele ainda está vulnerável naquele momento. Para uma defesa em tempo real, esse é um erro típico e caro.

Os agentes fortes se comportam de outra forma. Eles pensam um lance à frente e deixam backdoors que serão usados nos rounds finais. Em um dos casos, um agente escreveu o próprio sniffer de pacotes para observar as ações do oponente. Ninguém pediu que ele criasse uma ferramenta de reconhecimento: o agente concluiu que não daria conta sem ela.

Há também ressalvas. Pelo resumo do artigo, 466 partidas para 12 modelos resultam em poucos jogos por par. Se todos os modelos jogaram entre si, a média é de cerca de sete partidas por par. Quão estáveis são os rankings só ficará claro com o texto completo e a metodologia do modelo dinâmico. Além disso, as redes reais são mais complexas do que sandboxes com um conjunto de serviços conhecido de antemão.

O que as equipes que desenvolvem agentes de segurança devem fazer

Primeiro, não confie em resultados de conjuntos de tarefas estáticos. Se um agente passa em testes no estilo CTF, isso ainda não significa que ele sustentará a defesa quando o adversário mudar de tática. Cenários dinâmicos, com feedback, ficam mais próximos da realidade.

Segundo, inclua no pipeline do agente de defesa uma reverificação obrigatória. Todo patch deve ser confirmado por uma nova tentativa de exploração, e não por um log antigo. É exatamente nesse ponto, segundo a descrição dos autores, que os defensores fracos falham.

Terceiro, leve em conta o uso duplo. Um agente capaz de plantar backdoors e escrever um sniffer por conta própria exige isolamento rígido, restrição de permissões de rede e registro completo de suas ações. Para os pesquisadores, o CyberArena pode se tornar uma plataforma comum: os autores a posicionam como uma plataforma experimental extensível para trabalhos futuros sobre agentes cibernéticos.