Agentes con LLM de difusión aprenden a susurrarse con vectores: +34 puntos en QASC

Los modelos de lenguaje de difusión construyen la respuesta a través de una sucesión de estados continuos que se van revisando, pero en los sistemas multiagente esos estados suelen descartarse: los agentes se comunican solo después de decodificar a texto. Los autores del trabajo Hidden Messages probaron un esquema distinto. Un agente comprime su estado de denoising en cuatro vectores densos con signo y se los pasa a un segundo agente. En QASC, donde los dos hechos de apoyo están repartidos entre los agentes, el trabajo conjunto alcanza un 80,8% de precisión. Si se sustituye el mensaje por uno ajeno, el resultado cae al 46,8%. Esa diferencia de 34,0 puntos es el efecto del contenido.

Cuatro vectores en lugar de texto

El funcionamiento del canal es sencillo. El emisor sigue su propia trayectoria de difusión y, en el momento elegido, comprime el estado actual en cuatro vectores. El receptor los recibe como entrada adicional, pero no abandona la suya: conserva su propio contexto, su propio lienzo (canvas) y su propia trayectoria de denoising. El mensaje no sustituye el razonamiento del receptor, sino que se mezcla con él.

Este diseño es importante para la limpieza del experimento. Los agentes son independientes, no comparten estado, y todo lo que uno sabe del otro pasa por esos cuatro vectores.

Cómo demostraron que el receptor lee el significado

La principal debilidad de muchos trabajos sobre comunicación oculta es que la mejora de las métricas puede atribuirse al mero hecho de tener una señal adicional. Aquí se plantean dos controles. El primero: se elimina el mensaje por completo y se comprueba si el canal es realmente necesario. El segundo: se sustituye el mensaje por el de otro ejemplo (derangement). El formato y las estadísticas de la señal no cambian; solo cambia el contenido. Si la precisión cae, el receptor está usando el significado y no solo la presencia de un vector.

Y cae con fuerza:

• Tiny-A2D: el derangement elimina la ventaja de +63,6 puntos.
• Dream-7B: el derangement elimina la ventaja de +100,0 puntos.
• QASC con los dos hechos repartidos entre los agentes: 80,8% con el mensaje correcto frente a 46,8% con el mensaje de un ejemplo ajeno; el efecto del contenido es de +34,0 puntos.
• Sustituciones dirigidas: cuando se introduce en el mensaje un hecho concreto distinto, el receptor desplaza su respuesta hacia él.

Este último punto es, probablemente, el más revelador. La degradación indica que el canal importa. El desplazamiento controlado hacia el hecho insertado indica que en los cuatro vectores hay información legible.

La transferencia tardía supera a los intercambios frecuentes

El resultado más inesperado tiene que ver con el momento. La intuición dice que cuantas más rondas de intercambio, mejor se sincronizan los agentes. El experimento muestra lo contrario: una sola transferencia tardía da un 87,8%, 7,0 puntos más que cuatro intercambios recurrentes. Según la aritmética, los cuatro intercambios se quedan en torno al nivel del 80,8%.

Una explicación plausible está en la naturaleza de la difusión. En los primeros pasos la trayectoria aún es difusa, y el estado del emisor contiene mucho ruido e hipótesis inestables. En los pasos tardíos la respuesta ya está formada, y el estado comprimido transmite lo que el emisor realmente «ha decidido». Esta explicación sigue siendo una hipótesis, pero el resultado en sí rompe el supuesto habitual de que una mayor frecuencia de comunicación es útil de forma automática.

Aplicaciones prácticas

Para quienes desarrollan sistemas multiagente, la conclusión es directa: el momento de la transferencia de información conviene tratarlo como un hiperparámetro, igual que el número de rondas. Un solo intercambio barato en el punto adecuado de la trayectoria puede superar a un esquema con cuatro intercambios y, por tanto, ahorrar cómputo y latencia.

La segunda consecuencia afecta a la depuración. La prueba de sustituir el mensaje por uno ajeno es fácil de reproducir en cualquier sistema con un canal oculto, y permite distinguir rápidamente la comunicación real del efecto casual de una entrada adicional.

Las limitaciones también son evidentes. Las pruebas se hicieron con tareas controladas y con modelos como Tiny-A2D y Dream-7B, no con escenarios agénticos largos que usen herramientas. Aun así, el trabajo aporta una metodología y la primera evidencia causal de que los agentes de difusión pueden transmitirse significado sin texto. Para las arquitecturas que consideran obligatoria la decodificación a tokens en la comunicación, es un motivo serio para replantear el diseño.