ASTC comprime o contexto de agentes sem treinamento e reduz Attention Pairs em 50,68%

Cenários agênticos de longa duração esbarram no crescimento do contexto: a cada passo, a chamada seguinte ao modelo recebe de novo as instruções de sistema, as decisões anteriores, a saída das ferramentas, o código e o feedback do ambiente. Processar o contexto completo é caro, e os fatos relevantes precisam competir com lixo desatualizado. Os autores de um artigo no arXiv propõem o Agentic Soft-Token Compression (ASTC), método que comprime esse contexto dentro do próprio modelo e não exige treinar um compressor separado.

Segundo eles, a qualidade nas tarefas fica no nível do modelo sem compressão ou acima dele, e o número de Attention Pairs (pares «consulta — chave» que a atenção calcula) ao longo de toda a execução cai para até 50,68%.

Por que a compressão comum quebra os agentes

Os autores distinguem a compressão de contexto de agentes da sumarização convencional. O histórico mistura texto que pode ser encurtado sem prejuízo e valores exatos: caminhos, identificadores, checksums, argumentos de API. Trocar um único caractere em um valor desses invalida a ação seguinte. Além disso, uma informação sem importância agora pode se tornar decisiva alguns passos depois, de modo que uma única avaliação de importância não é confiável.

Os métodos existentes tomam a decisão antes de o modelo processar o contexto. Os métodos rígidos descartam ou reescrevem o texto e correm o risco de perder valores exatos. Os métodos suaves guardam representações contínuas, mas dependem de encoders treinados à parte, e o objetivo deles pode divergir do que o modelo real já assimilou e do que vai precisar mais adiante. Os próprios autores tentaram primeiro treinar um compressor embutido, feito de blocos de attention e MLP, por meio de on-policy distillation. A preparação saiu cara e o resultado foi fraco, e acrescentar camadas de compressão não corrigiu a situação.

A análise de trajetórias de sessões reais de usuários mostrou que as observações de ferramentas ocupam mais espaço. Entre os sistemas citados no artigo estão Fable 5, GPT-5.6 Sol e Kimi K3. Por isso, a saída das ferramentas tornou-se o alvo principal da compressão.

Como o ASTC usa o estado GDN

O método foi pensado para modelos híbridos, nos quais a Gated Delta Network (camada recorrente com memória associativa) se alterna com a atenção completa. A atualização dessa camada gera um sinal de novidade: se o valor de entrada já está bem representado no estado, a correção é pequena, enquanto informações novas ou contraditórias alteram mais a memória. Na prática, o modelo mostra por conta própria o que já assimilou.

As camadas iniciais leem todo o novo bloco. Em seguida, o ASTC seleciona as posições que, ao mesmo tempo, são previsíveis a partir do estado anterior e ainda podem ser lidas do estado no fim da observação. Os valores exatos reconhecidos e o limite da ação ficam protegidos por uma máscara e permanecem como tokens comuns. As posições escolhidas são divididas em grupos causais, os outliers são removidos, e os estados ocultos restantes são calculados em média para formar um único soft token no espaço do modelo. Grupos de uma só posição e distorções excessivas são descartados: essas posições continuam como tokens originais.

O cache posterior ao limite de compressão guarda uma sequência mista mais curta. Ele é reaproveitado na decodificação e nos passos seguintes do agente, de modo que o ganho não se limita a um único prefill. Em contrapartida, a compressão precisa se pagar: a atenção economizada deve superar o custo da seleção e do pooling.

O que as medições mostraram e onde estão os limites

Os resultados declarados: em diferentes tarefas longas, o ASTC mantém a qualidade próxima à do modelo sem compressão ou acima dela e reduz os Attention Pairs de ponta a ponta em até 50,68%. Sem a proteção dos valores exatos, a precisão cai de forma brusca. O critério também funciona fora das observações de ferramentas: ao comprimir todo o histórico, a precisão do modelo sem compressão é alcançada com 24,52% menos acessos de KV no decode. O ganho também aparece em contexto longo e em correção de código. Em Attention Pairs por tarefa concluída com sucesso, o método supera compressores treinados em 15,4–103,7 vezes e, ao mesmo tempo, apresenta melhor precisão.

Há várias limitações. O método depende de modelos híbridos com GDN, portanto não serve diretamente para transformers puros. O reconhecimento de valores exatos pode deixar passar alguns campos. As estimativas teóricas, incluindo as condições em que os soft tokens distorcem a previsão menos do que tokens rígidos de mesmo comprimento, dependem de premissas que os limiares de seleção não garantem. A métrica de Attention Pairs conta os cálculos de atenção, não o tempo nem o custo em hardware real, então a economia final precisa ser verificada no seu próprio stack.

Conclusão prática para equipes que constroem agentes de longa duração sobre arquiteturas híbridas: a compressão pode vir dos sinais internos do modelo, sem gastar recursos em um compressor separado.