Google dobra a memória e o poder de computação dos TPUs em um único rack

Quando um agente analisa um repositório grande, o acelerador pode ficar sem memória para o modelo e seu contexto de trabalho. Já ao processar documentos fechados, surge outra pergunta: quem tem acesso aos dados durante os cálculos? O Google propõe duas novas configurações de TPU para essas tarefas. Para uma equipe que escolhe infraestrutura, é um motivo para incluir mais uma opção no teste comparativo.

Segundo o The Decoder, o Google ampliou a oitava geração de seus aceleradores com os sistemas TPU 8i Max e TPU 8tx. Junto com as variantes anteriores, a empresa contabiliza quatro sistemas TPU em um ano. É importante distinguir o processador do sistema montado em torno dele: ambas as novidades usam chips já existentes. Mudam a disposição, a memória e as conexões de rede.

Dois chips ajudam a acomodar mais trabalho

No TPU 8i Max, o Google colocou dois chips TPU 8i em um único encapsulamento. A empresa afirma dobrar o poder de computação, a capacidade de memória e sua largura de banda, mantendo o formato de rack. Para o data center, é a promessa de alocar mais recursos computacionais na mesma área.

Imagine um serviço em que vários agentes estudam código ao mesmo tempo, leem documentação e sugerem correções. Além dos pesos do modelo, a infraestrutura precisa armazenar dados intermediários do processamento das requisições. Quanto mais longo o contexto e maior o número de usuários simultâneos, maior a carga sobre a memória. A capacidade extra pode permitir atender requisições mais pesadas ou aumentar o número de tarefas paralelas.

Mas dobrar os recursos de hardware não significa, por si só, que a aplicação ficará duas vezes mais rápida. O resultado depende do modelo, do tamanho das requisições, da organização dos cálculos e de onde exatamente surge o atraso. Se o serviço aguarda a resposta de uma API externa, a memória adicional do acelerador não resolve essa etapa.

O material fornecido não traz preços, medições independentes nem uma comparação detalhada do consumo de energia. Por isso, não é possível deduzir do anúncio quanto uma requisição ficará mais barata nem quantos usuários um produto específico suportará. Esses números terão de ser obtidos em testes.

Proteção dos dados durante o cálculo

O TPU 8tx é voltado a empresas e órgãos públicos que trabalham com dados confidenciais. A criptografia em repouso e em trânsito cobre apenas parte do problema: durante o processamento, os dados geralmente ficam acessíveis em texto claro ao ambiente de computação. Segundo o Google, o novo sistema protege e isola os dados e os pesos do modelo também durante o uso ativo.

Por exemplo, uma organização quer refinar um modelo com documentos internos e depois obter dele um modelo menor para o uso diário. O Google descreve a possibilidade de realizar ajuste fino, destilação e treinamento de agentes com aprendizado por reforço em um único sistema, sem transferir dados sensíveis entre diferentes clusters.

Para esse cenário, importa todo o esquema de proteção. A descrição breve não permite concluir que o sistema cobre qualquer ameaça ou atende automaticamente aos requisitos de uma organização específica. Antes de escolher a infraestrutura, é preciso estudar os limites do isolamento, o gerenciamento de chaves e as condições de acesso. A Nvidia também oferece recursos semelhantes de computação confidencial, então será preciso comparar implementações concretas.

A portabilidade do código definirá a utilidade prática

As características de hardware ajudam pouco se migrar a aplicação exigir reescrever grande parte do código. Segundo o material, o Google abriu o código do TorchTPU para simplificar a execução do PyTorch em TPUs; também é declarado suporte a vLLM e SGLang. Isso reduz a barreira de entrada potencial, embora a promessa de mudanças mínimas ainda precise ser verificada com as dependências e operações do próprio modelo.

Um próximo passo prático é um piloto pequeno com carga real. Para o TPU 8i Max, vale medir o consumo de memória, a vazão do serviço e a latência com requisições simultâneas. Para o TPU 8tx, soma-se a verificação dos requisitos de confidencialidade. Em ambos os casos, é preciso calcular o custo total de atender a carga, incluindo migração e manutenção.

Para um fundador ou product manager, o sentido da notícia é a ampliação das opções de infraestrutura. Se o produto já esbarra na memória ou em requisitos de proteção de dados, os novos TPUs merecem um teste. A decisão de migrar virá após as medições: o anúncio de quatro configurações não prova, por si só, a economia da aplicação.