Google double la mémoire et la puissance de calcul de ses TPU dans une seule baie

Lorsqu’un agent analyse un vaste dépôt de code, l’accélérateur peut manquer de mémoire pour héberger le modèle et son contexte de travail. Le traitement de documents confidentiels soulève une autre question : qui peut accéder aux données pendant les calculs ? Google propose deux nouvelles configurations de TPU pour répondre à ces besoins. Pour une équipe qui choisit son infrastructure, c’est une option supplémentaire à intégrer à ses tests comparatifs.

Selon The Decoder, Google a enrichi sa huitième génération d’accélérateurs avec les systèmes TPU 8i Max et TPU 8tx. En comptant les variantes précédentes, l’entreprise totalise quatre systèmes TPU sur l’année. Il faut ici distinguer le processeur du système construit autour de lui : les deux nouveautés utilisent des puces existantes. Les changements portent sur leur agencement, la mémoire et les connexions réseau.

Deux puces pour prendre en charge davantage de travail

Dans TPU 8i Max, Google a réuni deux puces TPU 8i dans un même boîtier. L’entreprise annonce un doublement de la puissance de calcul, de la capacité mémoire et de sa bande passante, tout en conservant le format de la baie. Pour un centre de données, la promesse est de concentrer davantage de ressources de calcul sur la même surface.

Imaginons un service dans lequel plusieurs agents étudient simultanément du code, lisent de la documentation et proposent des corrections. En plus des poids du modèle, l’infrastructure doit stocker les données intermédiaires issues du traitement des requêtes. Plus le contexte est long et les utilisateurs simultanés nombreux, plus la pression sur la mémoire augmente. Une capacité supplémentaire peut permettre de traiter des requêtes plus lourdes ou d’accroître le nombre de tâches exécutées en parallèle.

Mais doubler les ressources matérielles ne suffit pas à rendre une application deux fois plus rapide. Le résultat dépend du modèle, de la longueur des requêtes, de l’organisation des calculs et de l’endroit précis où se situe la latence. Si le service attend la réponse d’une API externe, ajouter de la mémoire à l’accélérateur ne résoudra pas ce problème.

Le document fourni ne contient ni tarifs, ni mesures indépendantes, ni comparaison détaillée de la consommation énergétique. L’annonce ne permet donc pas de déterminer dans quelle proportion le coût par requête baissera, ni combien d’utilisateurs un produit donné pourra prendre en charge. Ces chiffres devront être établis par des essais.

Protéger les données pendant les calculs

TPU 8tx s’adresse aux entreprises et aux organismes publics qui traitent des données confidentielles. Le chiffrement au repos et en transit ne répond qu’à une partie du problème : pendant le traitement, les données deviennent généralement accessibles en clair à l’environnement de calcul. Selon Google, le nouveau système protège et isole aussi les données et les poids du modèle lorsqu’ils sont utilisés.

Une organisation peut, par exemple, vouloir affiner un modèle sur ses documents internes, puis en dériver un modèle plus petit pour un usage quotidien. Google décrit la possibilité d’effectuer l’affinage, la distillation et l’entraînement d’agents par apprentissage par renforcement dans un même système, sans transférer les données sensibles entre plusieurs clusters.

Dans un tel scénario, l’ensemble du dispositif de protection compte. Une brève description ne permet pas de conclure que le système couvre toutes les menaces ou satisfait automatiquement aux exigences d’une organisation donnée. Avant de choisir une infrastructure, il faut examiner les limites de l’isolation, la gestion des clés et les conditions d’accès. Nvidia propose également des fonctions de calcul confidentiel comparables : il faudra donc comparer les mises en œuvre concrètes.

La portabilité du code déterminera l’intérêt pratique

Les caractéristiques matérielles sont de peu d’utilité si la migration de l’application exige de réécrire une part importante du code. Selon l’article, Google a ouvert le code de TorchTPU pour faciliter l’exécution de PyTorch sur TPU ; la prise en charge de vLLM et de SGLang est également annoncée. Cela peut abaisser la barrière à l’entrée, même si la promesse de modifications minimales reste à vérifier avec vos propres dépendances et les opérations de votre modèle.

La prochaine étape concrète consiste à mener un petit projet pilote avec une charge réelle. Pour TPU 8i Max, il convient de mesurer l’utilisation de la mémoire, le débit du service et la latence en présence de requêtes simultanées. Pour TPU 8tx, il faut en plus vérifier le respect des exigences de confidentialité. Dans les deux cas, le calcul doit porter sur le coût total de prise en charge de la charge de travail, migration et maintenance comprises.

Pour un fondateur ou un responsable produit, cette annonce élargit le choix d’infrastructures. Si le produit se heurte déjà à des limites de mémoire ou à des exigences de protection des données, les nouvelles TPU méritent d’être testées. La décision de migrer viendra après les mesures : l’annonce de quatre configurations ne suffit pas, à elle seule, à démontrer la viabilité économique de l’application.