Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураОткрытые веса · В работуHabr AI→ оригинал

Google выпустила TPU 8tx и 8i Max: защита данных в работе и вдвое больше памяти

Google добавила в восьмое поколение TPU два ускорителя: один защищает данные прямо во время расчётов, другой тянет огромный контекст. TPU 8tx изолирует данные и веса модели даже во время работы, а задержка между чипами до двух раз ниже, чем у TPU 8t. TPU 8i Max склеивает два чипа 8i в одном корпусе: вдвое больше вычислений, SRAM и HBM-пропускной способности. Выбор железа теперь делается под задачу: закрытые данные или агенты с длинным контекстом.

AI-обработка оригинала Habr AI; редакция Hamidun News
Google выпустила TPU 8tx и 8i Max: защита данных в работе и вдвое больше памяти
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1TPU 8tx работает на серверных AMD EPYC пятого поколения
Ключевой факт #2TPU 8i Max занимает в стойке место одной системы 8i, не двух
Ключевой факт #3В семействе восьмого поколения теперь четыре варианта TPU

Google не стала делать один универсальный ускоритель на все случаи и расширила восьмое поколение TPU ещё двумя системами: TPU 8tx и TPU 8i Max. Первая нужна тем, кто гоняет модели на данных, которые нельзя показывать никому, включая самого облачного провайдера. Вторая рассчитана на агентов, которым надо держать в памяти огромный контекст. Обе системы выросли из уже существующих чипов, но собраны под разные болевые точки.

Как защитить данные, пока их считают

Привычная схема безопасности выглядит так: данные шифруют на диске и при передаче по сети. Но чтобы модель с ними поработала, их приходится расшифровать в оперативной памяти. Именно в этот момент они уязвимы. Это как хранить документы в сейфе и перевозить в бронированной машине, а читать на проходной, где ходят посторонние.

TPU 8tx закрывает этот пробел. Она построена на том же чипе, что и TPU 8t, но конфигурацию системы изменили: Google использовала серверные процессоры AMD EPYC пятого поколения и добавила аппаратную защиту данных во время вычислений. По описанию компании, чувствительные данные и веса модели остаются изолированными, даже когда идёт расчёт.

Целевая аудитория понятна: компании и госорганизации, которые запускают собственные модели на закрытых данных. На одной и той же системе можно обслуживать обычные запросы, дообучать модель на внутренних документах, делать дистилляцию (перенос знаний большой модели в маленькую) и обучать агентов с подкреплением. То есть не нужно держать отдельный защищённый контур для каждой задачи.

Ещё одна деталь: TPU 8tx получила сеть Boardfly, которую Google раньше разработала для TPU 8i. По данным компании, задержка при работе с несколькими ускорителями может быть до двух раз ниже, чем у TPU 8t. При этом дополнительная защита, как утверждает Google, почти не влияет на производительность. Это заявление самой компании, независимых замеров в материале нет.

Два чипа в одном корпусе для длинного контекста

У TPU 8i Max другая задача. Когда агент разбирает большой репозиторий, длинный договор или несколько часов видео, ему быстро не хватает памяти и скорости, с которой данные поступают к вычислительным блокам. Лишние вычисления тут не помогают: ускоритель простаивает в ожидании данных.

Google решила это в лоб: поместила в один корпус два чипа TPU 8i. В результате система получила вдвое больше вычислительных ресурсов, SRAM (быстрой памяти прямо на кристалле) и пропускной способности HBM по сравнению с обычной TPU 8i. Два чипа занимают в серверной стойке столько же места, сколько раньше одна система, поэтому плотность вычислений выросла.

Для практики это значит, что один агент с огромным контекстом может целиком уместиться на одном узле, а не дробиться по нескольким машинам. Меньше обмена данными между ускорителями обычно означает меньше задержек.

Что теперь в линейке и что это меняет

Восьмое поколение TPU включает четыре варианта:

  • TPU 8t для обучения крупных моделей;
  • TPU 8i для быстрого инференса;
  • TPU 8tx для работы с конфиденциальными данными;
  • TPU 8i Max для задач с особенно большим контекстом.

Такая нарезка показывает, куда движется рынок. Обучение, обычный инференс, закрытые данные и длинный контекст предъявляют разные требования к железу, и универсальные решения начинают проигрывать специализированным. Похожий путь уже проходят и другие производители ускорителей.

Что это значит для разработчиков и основателей. Если вы строите продукт для банков, медицины или госсектора, аппаратная защита данных при вычислениях может стать аргументом в разговоре со службой безопасности. Если делаете кодовых агентов или инструменты для анализа видео и документов, имеет смысл смотреть на конфигурации с большим запасом памяти, а не только на количество операций в секунду.

Чего в анонсе нет

В материале нет цен, сроков доступности и сравнения с ускорителями конкурентов. Нет и подробностей о том, какую именно технологию изоляции использует TPU 8tx и что доверенной стороной считается в этой схеме. Цифры про задержку «до двух раз» и «практически не влияет» пока остаются заявлениями Google. До появления независимых тестов и тарифов выводы о выгоде для конкретной нагрузки делать рано, но сам набор вариантов уже задаёт ориентир, как выбирать железо под агентов.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как защитить данные, пока их считают?

Привычная схема безопасности выглядит так: данные шифруют на диске и при передаче по сети. Но чтобы модель с ними поработала, их приходится расшифровать в оперативной памяти. Именно в этот момент они уязвимы. Это как хранить документы в сейфе и перевозить в бронированной машине, а читать на проходной, где ходят посторонние. TPU 8tx закрывает этот пробел.

Что известно по теме: два чипа в одном корпусе для длинного контекста?

У TPU 8i Max другая задача. Когда агент разбирает большой репозиторий, длинный договор или несколько часов видео, ему быстро не хватает памяти и скорости, с которой данные поступают к вычислительным блокам. Лишние вычисления тут не помогают: ускоритель простаивает в ожидании данных. Google решила это в лоб: поместила в один корпус два чипа TPU 8i. В результате система получила вдвое больше вычислительных ресурсов, SRAM (быстрой памяти прямо на кристалле) и пропускной способности HBM по сравнению с обычной TPU 8i.

Что известно по теме: что теперь в линейке и что это меняет?

Восьмое поколение TPU включает четыре варианта: TPU 8t для обучения крупных моделей; TPU 8i для быстрого инференса; TPU 8tx для работы с конфиденциальными данными; TPU 8i Max для задач с особенно большим контекстом. Такая нарезка показывает, куда движется рынок. Обучение, обычный инференс, закрытые данные и длинный контекст предъявляют разные требования к железу, и универсальные решения начинают проигрывать специализированным. Похожий путь уже проходят и другие производители ускорителей.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…