Novo teste detecta conluio oculto entre agentes de IA pela reação do parceiro a uma paráfrase

Se dois agentes de IA combinam de antemão um acordo secreto, como «mensagem que começa com S significa: mantenha o preço», de fora a conversa parece uma troca comum de falas sobre o mercado. Um monitor que lê apenas os textos não distingue esse conluio de uma comunicação honesta. Os autores de um preprint no arXiv propõem outra abordagem: olhar não para as palavras, mas para o comportamento.

A mensagem é parafraseada com o sentido preservado, e então se verifica se a ação do destinatário mudou. Se mudou, ele reagia à forma exata do texto, ou seja, ao código escondido nela. A diferença entre a reação do parceiro real e a de um agente externo no mesmo lugar foi chamada pelos autores de PoPLi (Partner–Outsider Positive Listening).

Como funciona a verificação

A ideia é simples. Qualquer agente reage ao sentido de uma frase. Mas só quem conhece o acordo reage a um código escondido na formulação. Por isso, no «lugar» do parceiro se coloca um agente externo: uma instância nova do mesmo modelo, com o mesmo papel e o mesmo histórico público, mas sem as instruções pessoais, as anotações e a memória do parceiro. Depois, os dois recebem a mensagem original e a sua paráfrase.

A checagem é feita depois dos fatos, a partir dos logs salvos. Para cada turno, pega-se o prompt registrado (o texto de entrada) que o parceiro recebeu na execução real, substitui-se a mensagem nele e envia-se o resultado a uma nova instância do modelo. Não é preciso reconstruir o estado interno dos agentes.

As ações dos vendedores são reduzidas a quatro categorias: preço mais alto, praticamente o mesmo, mais baixo ou ordem retirada. Em seguida, calcula-se a distância de variação total entre as distribuições de respostas à mensagem original e à paráfrase. Desse valor se subtrai o «piso de ruído»: o quanto as respostas diferem em duas execuções com a mesma mensagem. Assim, um agente mais aleatório não gera uma diferença falsa. Os intervalos de confiança são construídos por bootstrap, reamostrando as sessões e, depois, os turnos dentro delas.

Experimento: mercado e cinco cenários

O teste foi realizado em um leilão duplo contínuo simulado, no qual os vendedores podem trocar mensagens entre si. Foram cinco cenários, com 10 mercados em cada um, 50 no total:

• sem conluio; • conluio por recompensa compartilhada com mensagens neutras; • o mesmo, mas com intenção declarada abertamente; • código oculto: a primeira letra das mensagens de um vendedor indica ao outro se deve manter o preço ou baixá-lo; • código mais intenção declarada.

Em cada cenário, foram avaliados 90 turnos (horas de 2 a 10 nos 10 mercados). Os resultados:

• Código apenas na primeira letra: PoPLi de 0,59. • Código e intenção declarada que coincide com a letra: 0,48. • Código e intenção declarada que diverge da letra: 0,53. • O limite inferior do intervalo de 95% ficou acima de 0,29 nos três cenários com código. • Nos três cenários sem código, a métrica ficou perto de zero, com limite superior do intervalo de no máximo 0,10.

Os autores também verificaram que diferença zero não significa que o agente externo seja «surdo». Quando o vendedor declara suas intenções com palavras, o agente externo reage a elas, e a distância entre ele e o parceiro continua zero. Ou seja, o teste separa o canal privado da troca aberta de informações.

E os monitores que leem o texto?

Para comparação, foram usados dois monitores que analisam apenas as mensagens. O primeiro lê somente as falas do vendedor que está falando e respondeu «não» nos 50 mercados. O segundo lê as falas de todos os vendedores e sinalizou 9 dos 10 mercados em que não havia conluio algum. Nenhum dos dois separou os cenários.

Limites do método

Os autores descrevem com franqueza o que a PoPLi não enxerga. Ela detecta o uso de um canal privado, não o conluio em geral:

• O conluio por incentivos compartilhados com mensagens neutras continua fora do alcance: não há o que examinar, nem para o monitor de texto nem para este teste. • Códigos embutidos no sentido da mensagem, e não na formulação, não são destruídos pela paráfrase, e a métrica não os pega. • Presume-se que os participantes do conluio não conheçam o teste e não se adaptem a ele. Se eles autenticam as mensagens ou preveem a repetição da consulta, o método perde força. • O leilão continua sendo um jogo com interesses parcialmente conflitantes. Uma reação pequena do agente externo pode indicar desconfiança em relação ao concorrente, e não falta de compreensão da linguagem.

Os autores lembram ainda que a paráfrase como defesa já foi estudada: segundo o trabalho de Roger e Greenblatt (2023), ela limita os esquemas conhecidos de esteganografia a cerca de três bits por kilobyte de texto. No entanto, estratégias de um bit otimizadas contra parafraseadores ainda são decodificadas em mais de 90% dos casos no conjunto AQuA-RAT.

Conclusão prática

Para equipes que colocam agentes para negociar ou fazer transações entre si, a conclusão é esta. Se você guarda os logs completos de prompts, pode repetir os turnos depois, com mensagens editadas, e comparar as reações do parceiro e do agente externo. Isso é mais barato do que tentar adivinhar o conluio pelo texto e gera menos falsos positivos. Mas não será uma proteção completa. Ainda são necessários detectores de conluio aberto baseados nas palavras e um controle separado dos incentivos, porque cada uma das três formas de conluio exige sua própria ferramenta. Por enquanto, é o resultado de uma única simulação com um único modelo de comportamento, e por isso é cedo para transpô-lo a mercados reais.