Agentes com LLMs de difusão aprenderam a sussurrar por vetores: +34 pontos no QASC

Os modelos de linguagem de difusão montam a resposta por meio de uma sequência de estados contínuos que vão sendo revisados. Em sistemas multiagente, porém, esses estados costumam ser descartados: os agentes só se comunicam depois que tudo é decodificado em texto. Os autores do trabalho Hidden Messages testaram outra abordagem. Um agente comprime seu estado de denoising em quatro vetores densos simbólicos e os envia ao segundo. No QASC, onde os dois fatos de apoio estão divididos entre os agentes, a colaboração alcança 80,8% de precisão. Se a mensagem é trocada por uma de outro exemplo, o resultado cai para 46,8%. Essa diferença de 34,0 pontos é o efeito de conteúdo.

Quatro vetores no lugar do texto

O funcionamento do canal é simples. O remetente segue sua própria trajetória de difusão e, no momento certo, comprime o estado atual em quatro vetores. O destinatário recebe esses vetores como uma entrada adicional, mas não abandona a sua: ele mantém o próprio contexto, o próprio canvas e a própria trajetória de denoising. A mensagem não substitui o raciocínio do destinatário, e sim se mistura a ele.

Essa construção é importante para a limpeza do experimento. Os agentes são independentes e não compartilham estado; tudo o que um sabe sobre o outro passa pelos quatro vetores.

Como provaram que o destinatário lê o significado

O ponto fraco de muitos trabalhos sobre comunicação oculta é que o ganho nas métricas pode ser atribuído apenas à presença de um sinal extra. Aqui há dois controles. No primeiro, a mensagem é removida por completo, para verificar se o canal é mesmo necessário. No segundo, a mensagem é trocada por uma de outro exemplo (derangement). O formato e a estatística do sinal permanecem os mesmos; muda apenas o conteúdo. Se a precisão cai, o destinatário está usando o significado, e não simplesmente a presença de um vetor.

A queda é grande:

• Tiny-A2D: o derangement elimina a vantagem de +63,6 pontos.
• Dream-7B: o derangement elimina a vantagem de +100,0 pontos.
• QASC com os dois fatos divididos entre os agentes: 80,8% com a mensagem correta contra 46,8% com a mensagem de outro exemplo, um efeito de conteúdo de +34,0 pontos.
• Substituições direcionadas: quando um outro fato específico é inserido na mensagem, o destinatário desloca a resposta na direção dele.

O último item é talvez o mais revelador. A degradação mostra que o canal importa. O desvio controlado rumo ao fato inserido mostra que os quatro vetores carregam informação de fato legível.

Uma transmissão tardia vence trocas frequentes

O resultado mais inesperado diz respeito ao momento da troca. A intuição sugere que, quanto mais rodadas de troca, melhor os agentes se sincronizam. O experimento mostra o contrário: uma única transmissão tardia rende 87,8%, 7,0 pontos acima de quatro trocas recorrentes. Pela aritmética, as quatro trocas ficam em torno de 80,8%.

A explicação plausível está na natureza da difusão. Nos primeiros passos, a trajetória ainda é difusa, e o estado do remetente contém muito ruído e hipóteses instáveis. Nos passos finais, a resposta já está formada, e o estado comprimido carrega aquilo que o remetente realmente «decidiu». Essa explicação continua sendo uma hipótese, mas o resultado em si quebra a suposição habitual de que a frequência da comunicação é automaticamente benéfica.

Onde isso pode ser aplicado na prática

Para quem desenvolve sistemas multiagente, a conclusão é direta: o momento de transmitir a informação deve ser tratado como um hiperparâmetro, assim como o número de rodadas. Uma única troca barata, no ponto certo da trajetória, pode superar um esquema com quatro trocas e, com isso, economizar computação e latência.

A segunda consequência diz respeito à depuração. O teste de substituir a mensagem por outra de um exemplo diferente é fácil de reproduzir em qualquer sistema com canal oculto e separa rapidamente a comunicação genuína do efeito casual de uma entrada adicional.

As limitações também são evidentes. Os testes foram feitos em tarefas controladas e em modelos como Tiny-A2D e Dream-7B, e não em cenários agênticos longos com ferramentas. Ainda assim, o trabalho oferece uma metodologia e a primeira evidência causal de que agentes de difusão podem passar significado uns aos outros sem texto. Para arquiteturas em que a decodificação em tokens é considerada uma etapa obrigatória da comunicação, esse é um bom motivo para repensar o design.