Les agents à base de LLM de diffusion apprennent à se chuchoter des vecteurs : +34 points sur QASC

Les modèles de langage à diffusion construisent leur réponse à travers une succession d'états continus révisés. Dans les systèmes multi-agents, ces états sont pourtant le plus souvent jetés : les agents ne communiquent qu'après décodage en texte. Les auteurs de l'étude Hidden Messages ont testé un autre schéma. Un agent compresse son état de débruitage en quatre vecteurs denses signés et les transmet à un second agent. Sur QASC, où deux faits de support sont répartis entre les agents, la collaboration atteint 80,8% de précision. Si l'on remplace le message par celui d'un autre exemple, le résultat tombe à 46,8%. L'écart de 34,0 points correspond précisément à l'effet du contenu.

Quatre vecteurs au lieu de texte

Le canal est simple. L'émetteur suit sa propre trajectoire de diffusion et, à un moment donné, compresse son état courant en quatre vecteurs. Le récepteur les reçoit comme une entrée supplémentaire, sans abandonner la sienne : il conserve son propre contexte, son propre canevas (canvas) et sa propre trajectoire de débruitage. Le message ne remplace pas le raisonnement du récepteur, il s'y mêle.

Cette conception garantit la propreté de l'expérience. Les agents sont indépendants et ne partagent aucun état : tout ce que l'un sait de l'autre passe par ces quatre vecteurs.

Comment les auteurs ont prouvé que le récepteur lit le sens

La principale faiblesse de nombreux travaux sur la communication latente est que la hausse des métriques peut s'expliquer par la seule présence d'un signal supplémentaire. Ici, deux contrôles ont été mis en place. Le premier supprime entièrement le message, pour vérifier que le canal est bien nécessaire. Le second remplace le message par celui d'un autre exemple (derangement). Le format et les statistiques du signal restent identiques ; seul le contenu change. Si la précision baisse, c'est que le récepteur exploite le sens, et pas simplement la présence d'un vecteur.

La baisse est forte :

• Tiny-A2D : le derangement supprime l'avantage de +63,6 points.
• Dream-7B : le derangement supprime l'avantage de +100,0 points.
• QASC avec deux faits répartis entre les agents : 80,8% avec le bon message, contre 46,8% avec le message d'un autre exemple, soit un effet du contenu de +34,0 points.
• Substitutions ciblées : lorsqu'on glisse dans le message un autre fait précis, le récepteur oriente sa réponse dans cette direction.

Ce dernier point est sans doute le plus révélateur. La dégradation montre que le canal compte. Le déplacement contrôlé vers le fait substitué montre que les quatre vecteurs contiennent bien une information lisible.

Un transfert tardif bat les échanges fréquents

Le résultat le plus inattendu concerne le moment de l'échange. L'intuition voudrait que plus il y a de tours d'échange, mieux les agents se synchronisent. L'expérience montre l'inverse : un seul transfert tardif donne 87,8%, soit 7,0 points de plus que quatre échanges récurrents. D'après le calcul, les quatre échanges restent autour de 80,8%.

L'explication la plus plausible tient à la nature de la diffusion. Aux premières étapes, la trajectoire est encore floue, et l'état de l'émetteur contient beaucoup de bruit et d'hypothèses instables. Aux étapes tardives, la réponse est déjà formée, et l'état compressé porte ce que l'émetteur a réellement « décidé ». Cette explication reste une hypothèse, mais le résultat lui-même bouscule l'idée reçue selon laquelle une communication fréquente est automatiquement utile.

Quelles applications pratiques ?

Pour les développeurs de systèmes multi-agents, la conclusion est directe : le moment du transfert d'information doit être traité comme un hyperparamètre, au même titre que le nombre de tours. Un seul échange, peu coûteux, placé au bon point de la trajectoire peut surpasser un schéma à quatre échanges, et donc économiser du calcul et de la latence.

Second enseignement, côté débogage. Le test de substitution par le message d'un autre exemple se reproduit facilement dans tout système doté d'un canal latent, et il distingue vite une vraie communication d'un simple effet d'entrée supplémentaire.

Les limites sont également évidentes. Les vérifications ont été menées sur des tâches contrôlées et sur des modèles comme Tiny-A2D et Dream-7B, pas sur de longs scénarios agentiques avec outils. En revanche, ce travail apporte une méthodologie et une première preuve causale que des agents à diffusion peuvent se transmettre du sens sans passer par le texte. Pour les architectures où le décodage en tokens est considéré comme une étape obligatoire de la communication, c'est une raison sérieuse de revoir la conception.