MIT: agentes de IA trocam KV-cache em vez de texto e trabalham 4 vezes mais rápido

Quando vários agentes de IA dividem uma mesma tarefa, eles precisam repassar o contexto uns aos outros. Um termina sua parte, e o outro deve continuar. Em geral, o primeiro escreve um resumo em texto, e o segundo o lê do zero. Pesquisadores do MIT propuseram outro caminho. A arquitetura SwaT (Swarm Telepathy) transmite entre os modelos não um resumo, mas o KV-cache, isto é, o contexto já processado. Na comparação com resumos em texto, com o SwaT combinado à compressão do cache, a qualidade das respostas aumentou em média 40%, e a velocidade, quatro vezes.

Por que o resumo sai caro

O esquema com resumos parece simples, mas o custo é pago duas vezes.

O primeiro custo é computacional. O agente remetente gasta tempo e tokens para escrever o resumo. Depois, o agente destinatário processa esse texto de novo, como se o visse pela primeira vez.

O segundo custo são as perdas. O resumo é sempre mais curto que o original. Um detalhe pequeno que pareceu irrelevante para o remetente pode fazer falta ao destinatário dois passos adiante. E já não há como recuperá-lo.

Em cadeias longas de agentes, esse efeito se acumula. Quanto mais repasses, maior o trabalho desnecessário e mais distorcido fica o quadro original.

O que é transmitido no lugar do texto

O KV-cache é a memória interna de um modelo de linguagem sobre o que ele já leu. Enquanto processa o texto, o modelo guarda dados intermediários para cada token: chaves e valores (key e value). Graças a eles, não precisa recalcular todo o contexto ao gerar cada nova palavra. Na prática, é uma espécie de "anotação" que o próprio modelo fez para si.

A ideia do SwaT é entregar essa anotação diretamente ao agente seguinte. Assim, o destinatário não precisa reler o texto, e nada se perde na etapa do resumo legível por humanos.

Há, porém, uma dificuldade. Cada modelo tem seu formato interno: número de camadas, dimensões, forma de representar os tokens. Por isso, o cache de um modelo não pode simplesmente ser encaixado em outro. Segundo os autores, o SwaT consegue lidar com isso mesmo entre modelos de famílias diferentes. Essa é a parte mais complexa do trabalho, e é ela que torna o método aplicável a equipes mistas de agentes.

Além disso, o método usa compressão do cache. O cache completo ocupa muita memória, por isso ele é compactado. Os resultados informados pelos autores foram obtidos justamente com essa combinação.

O que mostraram os experimentos

A comparação foi feita com a forma mais comum de transmitir contexto: os resumos em texto. Resultados nos benchmarks:

• Qualidade das respostas: em média 40% maior do que com a transmissão de resumos em texto. • Velocidade: cerca de quatro vezes maior. • Troca entre famílias diferentes de modelos: o destinatário não precisa ter a mesma arquitetura do remetente. • Transmissão de visão: foi possível passar informações de um VLM (modelo que processa imagens junto com texto) para um modelo de texto comum, que não enxerga imagens por conta própria.

O último ponto talvez seja o mais curioso. O modelo de texto recebeu não a descrição de uma imagem, mas a representação interna construída pelo VLM. Isso abre caminho para a especialização: um modelo olha as imagens, outro raciocina sobre o resultado a baixo custo, e nenhum dos dois gasta recursos para traduzir o que foi visto em palavras.

O que isso significa para engenheiros

Para quem desenvolve sistemas de agentes, a ideia é simples: o resumo entre agentes não é a única opção, e muitas vezes não é a melhor. Se o conjunto de agentes roda em modelos com acesso aos estados internos, a troca de cache pode reduzir a latência e o custo computacional.

Há ressalvas. Este é um trabalho científico no arXiv (2610.15095), e não um produto pronto. Os números são médias de um conjunto de benchmarks, e na sua tarefa o resultado pode ser diferente. Além disso, o KV-cache normalmente não está disponível pelas APIs públicas de modelos fechados. Por isso, a forma mais fácil de aplicar essa abordagem é com modelos abertos, que você mesmo executa.

Ainda assim, a direção é clara. Se os agentes passarem a trocar a memória do modelo, e não palavras, os sistemas multiagente ficarão mais rápidos e mais precisos. E, possivelmente, surgirá um novo padrão: equipes de modelos diferentes, cada um com sua especialização, funcionando como um todo.