Una nueva prueba detecta la colusión oculta entre agentes de IA a partir de cómo reacciona su socio a una paráfrasis

Si dos agentes de IA han acordado de antemano un pacto secreto, por ejemplo «un mensaje que empieza por S significa: mantén el precio», desde fuera su conversación parece un intercambio normal de réplicas sobre el mercado. Un monitor que lee solo los textos no distingue esa colusión de una comunicación honesta. Los autores de un preprint en arXiv proponen otro enfoque: no mirar las palabras, sino el comportamiento.

Se parafrasea el mensaje conservando su significado y se comprueba si cambia la acción del destinatario. Si cambia, es que reaccionaba a la forma exacta del texto, es decir, al código oculto en ella. A la diferencia entre la reacción de un socio real y la de un agente externo en su mismo lugar, los autores la llamaron PoPLi (Partner–Outsider Positive Listening).

Cómo funciona la prueba

La idea es sencilla. Cualquier agente reacciona al significado de una frase. Pero al código escondido en la formulación solo reacciona quien conoce el acuerdo. Por eso, en el «asiento» del socio se coloca a un agente externo: una instancia nueva del mismo modelo, con el mismo rol y el mismo historial público, pero sin las instrucciones personales, las notas ni la memoria del socio. Después se muestran a ambos el mensaje original y su paráfrasis.

La comprobación se hace a posteriori, a partir de los logs guardados. Para cada turno se toma el prompt (texto de entrada) registrado que el socio recibió en la ejecución real, se sustituye el mensaje y se envía a la nueva instancia del modelo. No hace falta reconstruir el estado interno de los agentes.

Las acciones de los vendedores se reducen a cuatro categorías: precio más alto, aproximadamente el mismo, más bajo o oferta retirada. A continuación se calcula la distancia de variación total entre las distribuciones de respuestas al original y a la paráfrasis. A esa distancia se le resta un «suelo de ruido»: cuánto difieren las respuestas en dos ejecuciones con el mismo mensaje. Así, un agente más aleatorio no genera una diferencia falsa. Los intervalos de confianza se obtienen mediante bootstrap, remuestreando primero las sesiones y luego los turnos dentro de ellas.

El experimento: un mercado y cinco escenarios

La prueba se realizó en una subasta doble continua simulada, en la que los vendedores pueden escribirse entre sí. Había cinco escenarios, con 10 mercados cada uno, 50 en total:

• sin colusión; • colusión mediante una recompensa común con mensajes neutros; • lo mismo, pero con la intención declarada abiertamente; • código oculto: la primera letra de los mensajes de un vendedor le indica al otro si debe mantener el precio o bajarlo; • código más intención declarada.

En cada escenario se evaluaron 90 turnos (las horas 2 a 10 en 10 mercados). Los resultados son los siguientes:

• Código solo en la primera letra: PoPLi de 0,59. • Código e intención declarada que coincide con la letra: 0,48. • Código e intención declarada que no coincide con la letra: 0,53. • El límite inferior del intervalo del 95% supera 0,29 en los tres escenarios con código. • En los tres escenarios sin código, la métrica se sitúa cerca de cero y el límite superior del intervalo no supera 0,10.

Por separado, se comprobó que una diferencia nula no significa que el agente externo sea sordo. Cuando un vendedor expresa sus intenciones con palabras, el agente externo reacciona a ellas, y la brecha entre él y el socio sigue siendo nula. Por tanto, la prueba distingue un canal privado de un intercambio abierto de información.

Qué pasa con los monitores que leen el texto

Como comparación se usaron dos monitores que analizan solo los mensajes. El primero lee únicamente las réplicas del vendedor que habla y respondió «no» en los 50 mercados. El segundo lee las réplicas de todos los vendedores y marcó 9 de los 10 mercados en los que no había colusión en absoluto. Ninguno de los dos logró separar los escenarios.

Límites del método

Los autores describen con franqueza lo que PoPLi no ve. Detecta el uso de un canal privado, no la colusión en general:

• La colusión mediante incentivos comunes con mensajes neutros queda fuera de su alcance: no hay nada que observar ni para un monitor de texto ni para esta prueba. • Los códigos codificados en el significado del mensaje, y no en su formulación, no se destruyen con la paráfrasis, y la métrica no los detectará. • Se supone que los participantes en la colusión no saben de la prueba y no se adaptan a ella.

Si autentican los mensajes o prevén que se repetirá la consulta, el método se debilita. • La subasta sigue siendo un juego con intereses parcialmente enfrentados. Una reacción pequeña del agente externo puede indicar desconfianza hacia el competidor, y no que no entienda el lenguaje.

Por separado, los autores recuerdan que la paráfrasis como defensa ya se ha estudiado: según el trabajo de Roger y Greenblatt (2023), limita los esquemas de esteganografía conocidos a unos tres bits por kilobyte de texto. Sin embargo, las estrategias de un solo bit optimizadas contra los parafraseadores aún se descifran en más del 90% de los casos en el conjunto AQuA-RAT.

Conclusión práctica

Para los equipos que despliegan agentes que comercian o negocian entre sí, la conclusión es la siguiente. Si conservan los logs completos de los prompts, pueden repetir a posteriori los turnos con mensajes editados y comparar las reacciones del socio y del agente externo. Es más barato que intentar adivinar la colusión a partir del texto y da menos falsos positivos.

Pero no será una protección completa. Hacen falta además detectores de colusión abierta basados en las palabras y un control aparte de los incentivos, porque cada una de las tres formas de colusión requiere su propia herramienta. Por ahora es el resultado de una sola simulación con un único modelo de comportamiento, así que es pronto para trasladarlo a mercados reales.