Google удвоила память и вычислительную мощность TPU в одной стойке

Когда агент разбирает большой репозиторий, ускорителю может не хватать памяти для модели и рабочего контекста. А при обработке закрытых документов возникает другой вопрос: кто получает доступ к данным во время вычислений? Google предлагает две новые конфигурации TPU под эти задачи. Для команды, которая выбирает инфраструктуру, это повод добавить ещё один вариант в сравнительный тест.

По сообщению The Decoder, Google расширила восьмое поколение своих ускорителей системами TPU 8i Max и TPU 8tx. Вместе с предыдущими вариантами компания насчитывает четыре системы TPU за год. Здесь важно различать процессор и собранную вокруг него систему: обе новинки используют существующие чипы. Меняются их компоновка, память и сетевые соединения.

Два чипа помогают вместить больше работы

В TPU 8i Max Google разместила два чипа TPU 8i в одном корпусе. Компания заявляет удвоение вычислительной мощности, объёма памяти и её пропускной способности при сохранении формата стойки. Для дата-центра это обещание разместить больше вычислительных ресурсов на той же площади.

Представим сервис, где несколько агентов одновременно изучают код, читают документацию и предлагают исправления. Помимо весов модели, инфраструктуре приходится хранить промежуточные данные обработки запросов. Чем длиннее контекст и больше одновременных пользователей, тем существеннее нагрузка на память. Дополнительная ёмкость может позволить обслуживать более тяжёлые запросы или увеличить число параллельных задач.

Но удвоение аппаратных ресурсов само по себе не означает двукратного ускорения приложения. Результат зависит от модели, длины запросов, организации вычислений и того, где именно возникает задержка. Если сервис ждёт ответа внешнего API, дополнительная память ускорителя этот участок работы не исправит.

В предоставленном материале нет цен, независимых замеров и подробного сравнения энергопотребления. Поэтому из анонса нельзя вывести, насколько подешевеет запрос или сколько пользователей выдержит конкретный продукт. Эти цифры придётся получить в испытании.

Защита данных во время вычислений

TPU 8tx адресована компаниям и государственным организациям, которые работают с конфиденциальными данными. Шифрование при хранении и передаче закрывает лишь часть задачи: во время обработки данные обычно становятся доступны вычислительной среде в открытом виде. По заявлению Google, новая система защищает и изолирует данные и веса модели также при активном использовании.

Например, организация хочет дообучить модель на внутренних документах, а затем получить из неё меньшую модель для повседневной работы. Google описывает возможность выполнять дообучение, дистилляцию и обучение агентов с подкреплением в одной системе, без переноса чувствительных данных между разными кластерами.

Для такого сценария важна вся схема защиты. Из краткого описания нельзя заключить, что система закрывает любые угрозы или автоматически выполняет требования конкретной организации. Перед выбором инфраструктуры нужно изучить границы изоляции, управление ключами и условия доступа. Аналогичные возможности конфиденциальных вычислений есть и у Nvidia, поэтому сравнивать предстоит конкретные реализации.

Переносимость кода определит практическую пользу

Аппаратные характеристики мало помогают, если перенос приложения требует переписать значительную часть кода. Согласно материалу, Google открыла TorchTPU, чтобы упростить запуск PyTorch на TPU; также заявлена поддержка vLLM и SGLang. Это снижает потенциальный порог входа, хотя обещание минимальных изменений ещё нужно проверить на собственных зависимостях и операциях модели.

Практический следующий шаг — небольшой пилот с реальной нагрузкой. Для TPU 8i Max стоит измерить потребление памяти, пропускную способность сервиса и задержку при одновременных запросах. Для TPU 8tx к этому добавляется проверка требований к конфиденциальности. В обоих случаях считать нужно полную стоимость обслуживания нагрузки, включая перенос и сопровождение.

Для основателя или продакта смысл новости в расширении выбора инфраструктуры. Если продукт уже упирается в память или требования к защите данных, новые TPU заслуживают проверки. Решение о переходе появится после замеров: сам анонс четырёх конфигураций экономику приложения не доказывает.