Google выпустила TPU 8tx и 8i Max: защищённое обучение и вдвое больше памяти

Если вы запускаете модели в облаке, у вас, скорее всего, две застарелые боли. Первая: чувствительные данные и веса модели приходится отдавать чужой инфраструктуре, и юристы с безопасниками от этого не в восторге. Вторая: длинные запросы упираются в память ускорителя. Google в понедельник показала два новых чипа, которые целятся именно в эти проблемы: TPU 8tx и TPU 8i Max.

Что именно выпустили

Оба чипа входят в восьмое поколение TPU, которое Google представила в апреле. Тогда в линейке были TPU 8t для крупного обучения и TPU 8i для инференса. Теперь она расширяется под два конкретных сценария.

TPU 8tx построен на базе 8t и разработан совместно с AMD. Он предназначен для конфиденциального обучения и запуска моделей. По словам Google, защита встроена прямо в аппаратный уровень: чувствительные данные и веса модели остаются изолированными и защищёнными даже во время активной работы. Обычно шифруют данные на диске и при передаче, а вот в момент вычислений они открыты. Здесь заявлена защита именно на этом этапе.

TPU 8i Max устроен проще: это фактически два чипа 8i в одном корпусе. Память, вычислительная мощность и пропускная способность удвоены. Для разработчика это означает, что модель может держать в работе больший объём информации в рамках одного запроса.

Обучение и инференс на одном железе

У 8tx есть ещё одна особенность. Это специальная сеть для инференса, которая позволяет запускать модель параллельно с обучением. Google предлагает использовать её для дистилляции и обучения небольших моделей на лету.

Представьте банк или клинику. У них есть закрытые данные, на которых нужно дообучить компактную модель под свою задачу. Обычно это значит гонять данные между разными устройствами: обучение на одних, проверка и инференс на других. Каждый такой перенос увеличивает поверхность атаки и объём согласований. Google говорит, что на 8tx данные можно не перемещать: модель учится и отвечает на одном и том же устройстве внутри защищённого контура.

Теперь про 8i Max. Если ваш сервис работает с длинными документами, большими кодовыми базами или многошаговыми агентскими сценариями, главным ограничением часто становится память. Вместо того чтобы разрезать модель или контекст между несколькими чипами, можно взять один чип с удвоенными ресурсами. Меньше межчиповых передач обычно означает проще архитектуру развёртывания, хотя конкретные цифры задержек Google в анонсе не приводит.

Зачем это Google и что делать вам

Это часть большой гонки за независимость от Nvidia. Google делает собственные TPU, чтобы меньше зависеть от чужих чипов в облачном бизнесе. Microsoft и Amazon, а также лаборатории вроде OpenAI и Anthropic тоже работают над собственными ИИ-чипами и сопутствующим софтом. Для Google ставка понятна: если закрытая обработка данных и большой объём памяти станут аргументами в пользу TPU, это поможет продавать облако компаниям, которым важна конфиденциальность.

Ограничения тоже стоит учитывать. В анонсе нет сроков доступности, цен и независимых замеров. Заявления о защите весов и данных пока остаются заявлениями Google, и их проверка аудиторами ещё впереди. И как всегда с TPU, вы привязываетесь к стеку Google, а перенос на GPU потребует работы.

Практический вывод такой.

• Если вы работаете в регулируемой отрасли и обучаете модели на закрытых данных, следите за доступностью TPU 8tx и просите у Google подробности о модели угроз и сертификации.
• Если вас душит память при длинном контексте, примерьте 8i Max на своих нагрузках, как только появятся цены и доступ.
• Если вы выбираете платформу на год-два вперёд, закладывайте в расчёт, что у крупных облаков появляются реальные альтернативы Nvidia, а значит, есть возможность торговаться.

Объявление пока скорее заявка, чем результат. Но направление ясное: облачные провайдеры начинают конкурировать не только мощностью, но и тем, насколько спокойно можно отдать им свои данные.