Anthropic lança Message Threads: início da resposta 35% mais rápido em sessões longas

Quem já construiu um agente sobre contexto longo conhece essa dor: a sessão cresce, e cada novo passo começa com uma pausa. O modelo ainda não disse nada, mas você já enviou pela rede centenas de milhares de tokens de histórico. A Anthropic lançou o Message Threads justamente para eliminar essa pausa.

O que mudou

Antes, o esquema era simples e incômodo. A cada passo, o cliente reunia todo o diálogo: o prompt do sistema, os resultados das ferramentas, as falas anteriores, e enviava tudo de uma vez. Quanto maior o histórico, maior o atraso até o primeiro token.

Agora a requisição à API inclui o parâmetro thread. O conjunto completo de dados é enviado uma vez. Depois, o cliente envia apenas as mensagens novas e o identificador da resposta anterior. Entre as requisições, a Anthropic mantém o contexto na memória RAM de forma criptografada. O thread dura cinco minutos após a última chamada; depois disso, o histórico precisa ser enviado novamente.

Segundo a empresa, para agentes e sessões de 500 mil a 1 milhão de tokens, a espera pelo início da resposta cai 35% em média. O beta público está disponível na plataforma Claude, na AWS, no Microsoft Foundry e no Google Cloud.

Como isso funciona na prática

Imagine um agente de código analisando um repositório grande. Ele leu 40 arquivos, executou testes, recebeu logs, e agora o contexto ocupa 600 mil tokens. Antes, cada chamada seguinte a uma ferramenta significava reenviar todos os 600 mil. Agora o agente envia uma mensagem curta como «aqui está o resultado do último teste» mais o identificador da resposta anterior. A rede e a preparação da requisição ficam aliviadas, e o usuário vê a resposta mais cedo.

Uma ressalva importante: a cobrança não é afetada. O modelo continua processando todo o volume, então os tokens são contados como antes. É uma otimização de latência, não uma forma de economizar orçamento. Se a sua dor é o custo, olhe para o cache de prompts e a compressão de contexto, não para o Threads.

Limitações e o que fazer

A principal pegadinha é a janela de cinco minutos. Para um agente interativo que trabalha continuamente, ela basta. Para um chat em que o usuário saiu para almoçar, o thread expira, e a primeira requisição após a pausa volta a ser pesada. Isso significa que o código do cliente deve ser capaz de reconstruir o histórico completo: guarde-o do seu lado e use o thread como acelerador, não como fonte da verdade.

Outro ponto: o recurso está em beta. Não vale torná-lo o único caminho antes de verificar o comportamento em caso de queda do fluxo e de erros. Um plano sensato: ativar o thread em um cenário de agente, medir o tempo até o primeiro token em sessões reais e comparar com os 35% prometidos. O número é uma média; em diálogos curtos o ganho será mais modesto.

O que mais aconteceu

No mesmo dia saíram outras notícias que vale ter em mente. Segundo o FT, a Nvidia exige extraoficialmente dos operadores de data centers que clientes da China ocupem no máximo 49% da capacidade alugada em novos contratos. Se você aluga GPUs de nuvens menores, espere perguntas sobre a composição da clientela e possíveis mudanças na disponibilidade.

A OpenAI elevou o pagamento base por vulnerabilidades críticas no ChatGPT e no Codex para 30 mil dólares, e o máximo com bônus chega a 172 mil. Para as equipes que constroem produtos sobre esses serviços, é um sinal: a superfície de ataque está sendo testada a sério, e vocês também deveriam fazer isso.