Google выпустила TPU 8i Max и 8tx: чипы для агентов и закрытых данных

Если вы запускали агента, который час ждёт ответа пользователя или внешнего API, то знаете больную точку: ускоритель стоит занятым, а полезной работы нет. Плюс длинный контекст, который упирается в память и в скорость пересылки KV-cache между узлами. Google в новом анонсе пытается закрыть обе проблемы сразу и добавляет третью: возможность работать с чувствительными данными без доверия к хосту.

Что за железо

Линейка TPU восьмого поколения теперь состоит из четырёх систем. Две новинки: TPU 8i Max и TPU 8tx.

TPU 8i Max — это по сути два объединённых TPU 8i. Google называет двукратный рост вычислительной мощности, а также вдвое больше SRAM и пропускной способности HBM. Целевой сценарий: огромные контекстные окна и сложные агентные задачи. Память и её пропускная способность здесь важнее сырых терафлопс: при длинном контексте основное время уходит на чтение KV-cache, а не на матричное умножение.

TPU 8tx рассчитан на конфиденциальные вычисления. Данные защищаются аппаратно прямо во время обработки, причём это касается и инференса, и дообучения. Для банков, медицины и юридических продуктов это потенциально снимает главное возражение против облачных моделей: «мы не можем отправить такие данные наружу».

Софт вокруг чипов

Наиболее практичная часть анонса именно здесь.

Agent Compute Engine переносит состояние простаивающих агентных сессий и освобождает ускорители. Представьте поддержку клиентов: агент задал вопрос и ждёт ответа сутки. Раньше его контекст занимал память дорогого чипа, теперь состояние выгружается, а чип обслуживает других.

TPU Sync снижает задержку передачи KV-cache более чем на 90% по данным Google. Это важно при разделении этапов prefill и decode по разным узлам: чем быстрее переезжает кэш, тем меньше пауза перед первым токеном.

XLA Serving Engine получил открытый C++-движок для обслуживания моделей на TPU, GPU и CPU. Для команд, которые боятся привязки к одному вендору, это важный сигнал: один serving-слой можно запускать на разном железе.

GKE Dynamic Slicing ускоряет запуск заданий до 5 раз, а восстановление после сбоев до 4,5 раза. Для длинных тренировок и дообучений это прямая экономия денег: меньше простоя кластера после падения узла.

Gemini проектирует чипы

Отдельная деталь: Google использует Gemini и вычислительные мощности TPU, чтобы создавать схемы расположения компонентов. По заявлению компании, это занимает часы вместо недель. Это заявление самой Google, независимых подтверждений нет, но тренд очевиден: ИИ начинает ускорять собственное железо.

Ограничения

Все цифры, включая 90% по KV-cache и ускорение GKE в 5 раз, взяты из материалов Google и не проверены независимо. Цен, сроков доступности и регионов в анонсе нет. Сравнения с Nvidia тоже нет, так что судить о выигрыше по стоимости токена пока рано. Конфиденциальные вычисления на 8tx стоит проверять отдельно: какие именно угрозы закрыты, как устроена аттестация и что с производительностью при включённой защите.

Что делать на практике

Если вы строите агентные продукты с долгими сессиями, посчитайте, какую долю времени ваши ускорители простаивают в ожидании. Именно там Agent Compute Engine даст эффект. Если работаете с регулируемыми данными, присмотритесь к 8tx как к аргументу в разговоре с безопасниками. А если боитесь привязки к вендору, изучите открытый XLA Serving Engine: его можно попробовать независимо от выбора чипа. Продуктовым командам стоит дождаться цен и бенчмарков, прежде чем перестраивать инфраструктуру.