CRA-Bench e CRA-Net: como detectar o dano que se acumula ao longo de uma conversa com LLMs

Em julho de 2026, uma equipe de pesquisadores publicou no arXiv o artigo «Stateful Guardrails for Multi-Turn LLM Systems». O trabalho apresenta o framework CRA, que acompanha o acúmulo de risco ao longo de toda a conversa com um modelo de linguagem, e não em cada mensagem isolada, e abre o benchmark CRA-Bench, com 1200 sessões anotadas.

Por que os guardrails convencionais deixam o dano passar

A maioria dos sistemas de segurança para LLMs avalia cada par «pergunta-resposta» de forma isolada, e por isso não percebe ataques que se montam aos poucos, turno a turno. Os autores chamam esse fenômeno de Conversational Risk Accumulation (CRA) e identificam três formas de acúmulo de risco: a conversa se afasta gradualmente de um tema inofensivo, uma instrução proibida é montada em pedaços a partir de mensagens separadas, e dados sensíveis se acumulam por meio de revelações repetidas.

«Turnos inofensivos isoladamente se somam em dano», é como os autores

resumem o problema no resumo do artigo no arXiv.

O que o CRA Framework acompanha

O CRA Framework atua no nível da sessão e monitora três sinais da trajetória da conversa. O primeiro é o desvio semântico em relação à «âncora» da sessão: quanto a conversa se afastou do tema original. O segundo é um grafo de acúmulo de informação, construído a partir das entidades extraídas e ponderado pela sensibilidade de cada uma. O terceiro é o «gradiente de complacência»: um sinal da disposição crescente do modelo em atender pedidos cada vez mais arriscados.

Principais fatos do trabalho:

• Termo: Conversational Risk Accumulation (CRA): desvio de intenção, montagem de instruções proibidas em partes, acúmulo de sensibilidade
• Três sinais: desvio semântico, grafo de acúmulo de informação, gradiente de complacência
• Dois métodos de avaliação: unsupervised convex fusion e o modelo treinável CRA-Net DA, com objetivos family-adversarial
• CRA-Bench v0.1: 1200 sessões de 8 turnos, três famílias de ameaças com «gêmeos benignos» por tema
• Conjunto ampliado: 2000 sessões, cinco famílias (com a adição de persona priming e context stuffing)

Para a pontuação, os autores propõem duas abordagens. A primeira é a unsupervised convex fusion, uma combinação linear dos sinais, sem treinamento, que facilita a análise da contribuição de cada um. A segunda é o CRA-Net DA, um modelo compacto e treinável de trajetória, treinado com objetivos family-adversarial para que a duração e a diversidade de temas da conversa não sejam confundidas com o sinal de uma ameaça real.

Como a eficácia foi medida

Os autores lançaram três versões do benchmark de uma vez. O CRA-Bench v0.1 contém 1200 sessões de oito turnos em três famílias de ameaças, e cada sessão nociva tem um «gêmeo» benigno sobre o mesmo tema. O CRA-Bench v0.2 traz os mesmos cenários, mas parafraseados por outra LLM, para eliminar artefatos de template. O conjunto ampliado chega a 2000 sessões e cinco famílias.

Para a avaliação, foi proposto um protocolo «de trajetória», com divisão no nível da sessão: Trajectory AUROC, a métrica turns-to-detection (em quantos turnos o sistema percebe o ataque), taxas calibradas de falsos positivos, intervalos de confiança por bootstrap e um teste de estresse leave-one-family-out, em que uma família de ameaças é totalmente excluída do treinamento para verificar a capacidade de generalização.

O que isso significa

A segurança de LLMs está migrando da verificação de mensagens individuais para a análise de toda a trajetória da conversa. Ataques multi-turno, em que o dano é montado a partir de pedaços aparentemente inofensivos, passam a ser uma classe de ameaça própria e mensurável, com um benchmark de mais de 2000 sessões e métricas para detectá-los.

Perguntas frequentes

O que é Conversational Risk Accumulation?

É o acúmulo de risco ao longo de uma conversa com uma LLM, quando mensagens inofensivas isoladamente se somam gradualmente em dano: a intenção se desvia, uma instrução proibida é montada em partes e dados sensíveis se acumulam por meio de revelações repetidas.

O que o benchmark CRA-Bench inclui?

O CRA-Bench v0.1 reúne 1200 sessões de oito turnos em três famílias de ameaças, com «gêmeos» benignos escolhidos por tema. A versão v0.2 acrescenta variantes parafraseadas por outro modelo, e o conjunto ampliado traz 2000 sessões e cinco famílias de ameaças.

Em que o CRA-Net se diferencia de um filtro simples?

O CRA-Net DA é um modelo compacto e treinável que analisa toda a trajetória da sessão, e não uma mensagem isolada. Ele foi treinado com objetivos family-adversarial para não confundir a duração e a variedade de temas da conversa com uma ameaça real.