Anthropic acelera em 35% as respostas do Claude em conversas longas

Uma conversa longa com um modelo funciona de uma forma pouco elegante: antes de cada nova resposta, o aplicativo envia novamente toda a troca de mensagens. Enquanto o histórico contém apenas algumas mensagens, isso é quase imperceptível. Mas, quando um agente passa horas analisando um repositório, operando um computador ou lendo centenas de documentos, a retransmissão do contexto se torna uma fonte independente de latência.

A Anthropic apresentou o Message Threads para esses cenários. O recurso entrou em beta público na plataforma Claude e, segundo a empresa, reduz em cerca de 35% o tempo até o primeiro token em solicitações com contextos entre 500 mil e um milhão de tokens.

O que muda na solicitacao

Imagine um agente que já carregou um projeto grande: código-fonte, documentação, resultados de testes e o histórico de suas ações. Em seguida, o desenvolvedor escreve uma mensagem curta: “Corrija o erro encontrado e execute os testes novamente”.

No modelo convencional, o cliente transmite novamente ao Claude toda a conversa acumulada junto com essa mensagem. O Message Threads permite enviar apenas o que mudou desde a solicitação anterior. O próprio modelo ainda recebe o histórico completo, mas a camada de transporte deixa de precisar movimentar novamente centenas de milhares de tokens pela rede.

É justamente por isso que a Anthropic fala em acelerar o tempo até o primeiro token, e não em reduzir o volume do contexto. O usuário vê o início da resposta mais cedo, mas o modelo continua lendo todo o diálogo e levando-o em conta durante a geração.

Onde o efeito sera perceptivel

Os principais candidatos são os agentes de longa duração. Um agente de programação acumula gradualmente arquivos, mensagens do compilador e resultados de testes. Um agente que trabalha com interfaces mantém uma sequência de capturas de tela e ações executadas. Um sistema de análise de documentos pode manter relatórios, planilhas e imagens no contexto. Em todos esses casos, o novo comando é pequeno em comparação com o histórico já reunido.

Para um chatbot convencional com uma dezena de interações curtas, a diferença provavelmente será mais modesta. Os 35% anunciados se referem a solicitações muito grandes, a partir de 500 mil tokens. Não é possível aplicar esse número a qualquer conversa: o ganho real depende do tamanho do histórico, da rede, da região, do modelo e do restante da infraestrutura do aplicativo.

Há também uma limitação importante. O Message Threads não reduz o consumo de tokens: o Claude ainda processa o contexto completo. Portanto, o recurso melhora a latência de transmissão dos dados, mas não resolve o problema do custo das conversas longas. Se a tarefa exigir economia, os desenvolvedores ainda precisarão reduzir o histórico, criar resumos, mover dados para um armazenamento externo ou selecionar com mais precisão o contexto de cada etapa.

O que verificar antes da implementacao

A thread é mantida entre as solicitações em memória RAM criptografada e excluída após cinco minutos de inatividade. Isso pode ser suficiente para um agente interativo, mas um processo em segundo plano com pausas longas deve conseguir restaurar o estado ou retransmitir o histórico. O identificador da thread não deve ser tratado como armazenamento persistente da sessão.

O recurso funciona na plataforma Claude e também por meio da AWS, Microsoft Foundry e Google Cloud. Enquanto estiver em beta público, é sensato ativá-lo gradualmente: medir o tempo até o primeiro token nos próprios rastreamentos, verificar o comportamento após o prazo de cinco minutos e prever um retorno às solicitações convencionais.

A conclusão prática é simples: se o seu agente retransmite constantemente centenas de milhares de tokens de um contexto praticamente inalterado, vale a pena testar o Message Threads. Ele não tornará o modelo mais barato nem melhorará a qualidade do raciocínio, mas pode eliminar uma parcela perceptível da espera quando o histórico já se tornou maior do que a nova mensagem.