Google lança TPU 8i Max e 8tx: chips para agentes e dados sensíveis

Se você já executou um agente que passa uma hora esperando a resposta de um usuário ou de uma API externa, conhece o problema: o acelerador continua ocupado sem realizar trabalho útil. Soma-se a isso o contexto longo, que esbarra nos limites de memória e na velocidade de transferência do cache KV entre nós. No novo anúncio, o Google tenta resolver os dois problemas de uma vez e acrescenta uma terceira capacidade: trabalhar com dados sensíveis sem precisar confiar no host.

O hardware

A linha de TPUs de oitava geração agora é composta por quatro sistemas. As duas novidades são o TPU 8i Max e o TPU 8tx.

O TPU 8i Max é, essencialmente, a união de dois TPU 8i. O Google afirma que ele oferece o dobro de poder computacional, o dobro de SRAM e o dobro de largura de banda de HBM. O foco são janelas de contexto enormes e tarefas complexas de agentes. Aqui, a capacidade de memória e sua largura de banda importam mais do que os teraflops brutos: com contextos longos, a maior parte do tempo é gasta na leitura do cache KV, e não na multiplicação de matrizes.

O TPU 8tx foi projetado para computação confidencial. Os dados são protegidos por hardware durante o processamento, tanto na inferência quanto no ajuste fino. Para produtos bancários, de saúde e jurídicos, isso pode eliminar a principal objeção aos modelos na nuvem: “Não podemos enviar esse tipo de dado para fora da organização”.

O software que acompanha os chips

É aqui que está a parte mais prática do anúncio.

O Agent Compute Engine descarrega o estado das sessões ociosas de agentes e libera os aceleradores. Imagine um agente de atendimento ao cliente que faz uma pergunta e espera um dia inteiro pela resposta. Antes, seu contexto ocupava a memória de um chip caro; agora, o estado é descarregado e o chip pode atender outras sessões.

O TPU Sync reduz a latência de transferência do cache KV em mais de 90%, segundo o Google. Isso importa quando as etapas de prefill e decode são executadas em nós diferentes: quanto mais rápido o cache é transferido, menor é a espera pelo primeiro token.

O XLA Serving Engine ganhou um mecanismo de código aberto em C++ para servir modelos em TPUs, GPUs e CPUs. Para equipes preocupadas com a dependência de um único fornecedor, é um sinal importante: a mesma camada de disponibilização de modelos pode rodar em diferentes tipos de hardware.

O GKE Dynamic Slicing acelera o início de tarefas em até 5 vezes e a recuperação após falhas em até 4,5 vezes. Para treinamentos e ajustes finos longos, isso representa economia direta: menos tempo de inatividade do cluster após a falha de um nó.

Gemini projeta chips

Outro detalhe: o Google usa o Gemini e a capacidade computacional das TPUs para criar layouts de posicionamento de componentes. Segundo a empresa, o processo leva horas em vez de semanas. Essa é uma afirmação do próprio Google, sem confirmação independente, mas a tendência é clara: a IA começa a acelerar o desenvolvimento do seu próprio hardware.

Limitações

Todos os números, incluindo a redução de 90% nas transferências do cache KV e a aceleração de 5 vezes no GKE, vêm de materiais do Google e não foram verificados de forma independente. O anúncio não informa preços, prazos de disponibilidade nem regiões. Também não há comparação com a Nvidia, portanto ainda é cedo para avaliar uma possível vantagem no custo por token. A computação confidencial no 8tx merece uma análise separada: quais ameaças específicas ela cobre, como funciona a atestação e qual é o impacto no desempenho com a proteção ativada.

O que fazer na prática

Se você desenvolve produtos baseados em agentes com sessões longas, calcule a proporção do tempo que seus aceleradores passam ociosos, à espera. É aí que o Agent Compute Engine fará diferença. Se trabalha com dados regulados, considere o 8tx como um argumento nas conversas com sua equipe de segurança. Se a dependência de fornecedor é uma preocupação, explore o XLA Serving Engine de código aberto: é possível testá-lo independentemente do chip escolhido. As equipes de produto devem esperar pelos preços e benchmarks antes de reformular a infraestrutura.