Google lance les TPU 8tx et 8i Max : entraînement sécurisé et mémoire doublée

Si vous exécutez des modèles dans le cloud, vous êtes probablement confronté à deux problèmes de longue date. Premier problème : il faut confier des données sensibles et les poids du modèle à une infrastructure tierce, ce qui ne réjouit ni les juristes ni les équipes de sécurité. Second problème : les requêtes longues se heurtent à la mémoire de l'accélérateur. Lundi, Google a dévoilé deux nouvelles puces qui visent précisément ces points : le TPU 8tx et le TPU 8i Max.

Ce qui a été lancé

Les deux puces appartiennent à la huitième génération de TPU, présentée par Google en avril. La gamme comprenait alors le TPU 8t pour l'entraînement à grande échelle et le TPU 8i pour l'inférence. Elle s'élargit désormais pour répondre à deux scénarios précis.

Le TPU 8tx est construit sur la base du 8t et a été développé conjointement avec AMD. Il est destiné à l'entraînement et à l'exécution confidentiels de modèles. Selon Google, la protection est intégrée directement au niveau matériel : les données sensibles et les poids du modèle restent isolés et protégés même pendant le fonctionnement actif. On chiffre généralement les données sur disque et pendant le transfert, mais au moment du calcul, elles sont exposées. Ici, Google revendique une protection précisément à ce stade.

Le TPU 8i Max est plus simple dans sa conception : il s'agit en fait de deux puces 8i dans un même boîtier. La mémoire, la puissance de calcul et la bande passante sont doublées. Pour le développeur, cela signifie que le modèle peut manipuler un volume d'informations plus important dans le cadre d'une seule requête.

Entraînement et inférence sur le même matériel

Le 8tx possède une autre particularité. Il dispose d'un réseau dédié à l'inférence, qui permet d'exécuter un modèle en parallèle de l'entraînement. Google propose de l'utiliser pour la distillation et l'entraînement de petits modèles à la volée.

Imaginez une banque ou une clinique. Elles disposent de données confidentielles sur lesquelles il faut affiner un modèle compact pour leur tâche. Cela implique généralement de déplacer les données entre différents appareils : entraînement sur les uns, vérification et inférence sur les autres. Chaque transfert élargit la surface d'attaque et alourdit les validations. Google affirme qu'avec le 8tx, il n'est pas nécessaire de déplacer les données : le modèle apprend et répond sur le même appareil, au sein d'un périmètre protégé.

Venons-en au 8i Max. Si votre service traite de longs documents, de grandes bases de code ou des scénarios d'agents à plusieurs étapes, la mémoire devient souvent le principal goulot d'étranglement. Plutôt que de découper le modèle ou le contexte entre plusieurs puces, on peut utiliser une seule puce aux ressources doublées. Moins de transferts entre puces signifie généralement une architecture de déploiement plus simple, même si Google ne donne dans son annonce aucun chiffre précis de latence.

Pourquoi Google le fait, et que faire de votre côté

Cela s'inscrit dans la grande course à l'indépendance vis-à-vis de Nvidia. Google conçoit ses propres TPU pour dépendre moins des puces d'autrui dans son activité cloud. Microsoft et Amazon, ainsi que des laboratoires comme OpenAI et Anthropic, travaillent eux aussi sur leurs propres puces d'IA et les logiciels associés. Le pari de Google est clair : si le traitement fermé des données et une grande capacité mémoire deviennent des arguments en faveur des TPU, cela l'aidera à vendre son cloud aux entreprises pour lesquelles la confidentialité est essentielle.

Il faut aussi tenir compte des limites. L'annonce ne mentionne ni dates de disponibilité, ni prix, ni mesures indépendantes. Les affirmations sur la protection des poids et des données restent pour l'instant des déclarations de Google, et leur vérification par des auditeurs reste à venir. Et comme toujours avec les TPU, vous vous liez à la pile de Google, et une migration vers les GPU demandera du travail.

La conclusion pratique est la suivante.

• Si vous travaillez dans un secteur réglementé et entraînez des modèles sur des données confidentielles, surveillez la disponibilité du TPU 8tx et demandez à Google des précisions sur le modèle de menaces et la certification.
• Si la mémoire vous étouffe avec un contexte long, testez le 8i Max sur vos charges dès que les prix et l'accès seront disponibles.
• Si vous choisissez une plateforme pour un ou deux ans, tenez compte du fait que les grands clouds proposent de vraies alternatives à Nvidia, ce qui ouvre une marge de négociation.

Pour l'instant, cette annonce est plus une déclaration d'intention qu'un résultat. Mais la direction est claire : les fournisseurs de cloud commencent à rivaliser non seulement sur la puissance, mais aussi sur la sérénité avec laquelle on peut leur confier ses données.