Google lance les TPU 8i Max et 8tx : des puces pour les agents et les données confidentielles

Si vous avez déjà lancé un agent qui attend pendant une heure la réponse d’un utilisateur ou d’une API externe, vous connaissez le problème : l’accélérateur reste réservé sans accomplir de travail utile. S’y ajoute un contexte long, limité par la mémoire et la vitesse de transfert du cache KV entre les nœuds. Avec cette nouvelle annonce, Google cherche à résoudre ces deux problèmes et ajoute une troisième possibilité : traiter des données sensibles sans devoir faire confiance à l’hôte.

Le matériel

La gamme de TPU de huitième génération compte désormais quatre systèmes. Les deux nouveautés sont le TPU 8i Max et le TPU 8tx.

Le TPU 8i Max associe, pour l’essentiel, deux TPU 8i. Google annonce une puissance de calcul doublée, ainsi que deux fois plus de SRAM et de bande passante HBM. Il vise les très grandes fenêtres de contexte et les tâches agentiques complexes. La mémoire et sa bande passante comptent ici davantage que les téraflops bruts : avec un contexte long, l’essentiel du temps est consacré à la lecture du cache KV plutôt qu’aux multiplications matricielles.

Le TPU 8tx est conçu pour l’informatique confidentielle. Les données bénéficient d’une protection matérielle pendant leur traitement, aussi bien pour l’inférence que pour l’ajustement fin. Pour les banques, la santé et les applications juridiques, cela pourrait lever la principale objection à l’utilisation de modèles dans le cloud : « Nous ne pouvons pas envoyer ces données à l’extérieur. »

Les logiciels autour des puces

C’est ici que se trouve la partie la plus concrète de l’annonce.

Agent Compute Engine déplace l’état des sessions d’agents inactives et libère les accélérateurs. Prenez le service client : un agent pose une question, puis attend une réponse pendant une journée. Auparavant, son contexte occupait la mémoire d’une puce coûteuse. Désormais, son état est déchargé et la puce peut servir d’autres agents.

TPU Sync réduit de plus de 90% la latence de transfert du cache KV, selon Google. C’est important lorsque les phases de prefill et de decode sont réparties sur des nœuds distincts : plus le cache est transféré rapidement, plus l’attente avant le premier token est courte.

XLA Serving Engine se dote d’un moteur C++ open source pour servir des modèles sur TPU, GPU et CPU. Pour les équipes qui craignent de dépendre d’un seul fournisseur, c’est un signal important : une même couche de service peut fonctionner sur différents matériels.

GKE Dynamic Slicing accélère le lancement des tâches jusqu’à 5 fois et la reprise après incident jusqu’à 4,5 fois. Pour les longues sessions d’entraînement et d’ajustement fin, cela représente une économie directe : le cluster reste moins longtemps à l’arrêt après la défaillance d’un nœud.

Gemini conçoit des puces

Autre détail : Google utilise Gemini et la puissance de calcul des TPU pour élaborer des plans de placement des composants. Selon l’entreprise, cette opération prend des heures au lieu de semaines. Cette affirmation vient de Google et n’a pas été confirmée de manière indépendante, mais la tendance est claire : l’IA commence à accélérer la conception de son propre matériel.

Les limites

Tous les chiffres, notamment les 90% concernant le cache KV et l’accélération de GKE par un facteur 5, proviennent des documents de Google et n’ont pas été vérifiés de manière indépendante. L’annonce ne précise ni les prix, ni le calendrier de disponibilité, ni les régions concernées. Elle ne propose pas non plus de comparaison avec Nvidia : il est donc trop tôt pour évaluer un éventuel avantage sur le coût par token. L’informatique confidentielle sur le 8tx mérite un examen spécifique : quelles menaces sont précisément couvertes, comment fonctionne l’attestation et quelles sont les performances lorsque la protection est activée ?

Que faire en pratique

Si vous développez des produits agentiques avec de longues sessions, calculez la part du temps pendant laquelle vos accélérateurs restent inactifs en attendant une réponse. C’est là qu’Agent Compute Engine peut apporter un gain. Si vous traitez des données soumises à des exigences réglementaires, examinez le 8tx comme un argument à discuter avec vos équipes de sécurité. Et si la dépendance à un fournisseur vous préoccupe, étudiez XLA Serving Engine, dont le code est ouvert : vous pouvez le tester indépendamment du choix de la puce. Les équipes produit devraient attendre les prix et les benchmarks avant de revoir leur infrastructure.