Google представила алгоритм TurboQuant: память ИИ-моделей сокращена в шесть раз

Google представила алгоритм TurboQuant: память ИИ-моделей сокращена в шесть раз

Стремительное развитие больших языковых моделей натолкнулось на суровый физический барьер — экспоненциальный рост требований к вычислительным мощностям и объемам оперативной памяти. Долгое время казалось, что масштабирование искусственного интеллекта останется прерогативой корпораций с безграничными бюджетами на серверное оборудование, однако команда исследователей из Google Research предложила элегантное решение этой проблемы. Представленная ими технология TurboQuant, являющаяся инновационным алгоритмом квантизации, совершила настоящий прорыв в оптимизации нейросетей. Инженерам удалось сократить потребление памяти моделями в шесть раз, при этом полностью сохранив изначальную точность генерации ответов. Это событие знаменует собой переход от экстенсивного наращивания серверного железа к интенсивному и более умному использованию уже существующих архитектур.

Чтобы осознать масштаб достижения, необходимо понимать природу главного потребителя памяти в современных генеративных системах — так называемого KV-кеша. В процессе обработки естественного языка трансформерные модели сохраняют промежуточные вычисления ключей и значений для каждого токена, что позволяет нейросети помнить контекст беседы и не пересчитывать прошлые данные при генерации каждого последующего слова. При стандартной разрядности в шестнадцать или тридцать два бита этот кеш разрастается до колоссальных размеров по мере увеличения длины пользовательского запроса. На практике это означает, что передовые ИИ-ускорители забивают свою дорогостоящую память не столько самими весами модели, сколько контекстом текущих сессий. До сих пор попытки агрессивно сжать эти данные приводили к неприемлемому падению качества ответов или требовали многомесячного и ресурсоемкого дообучения всей системы под новые параметры.

Суть метода TurboQuant заключается в радикальном сжатии разрядности KV-кеша до беспрецедентных трех битов. Квантизация как математический процесс перевода непрерывных или высокоточных значений в дискретные низкоточные аналоги известна давно, однако специалисты Google Research сумели обойти ее главные подводные камни. В своей архитектуре они внедрили умный механизм компенсации потерь: на практике используется четырехбитный формат, где три бита отвечают за само сжатое значение, а один дополнительный бит выделен исключительно под математическую коррекцию ошибок. Подобный подход позволил сохранить тончайшие нюансы активаций внутри нейросети. Но самым впечатляющим аспектом технологии стало то, что алгоритм применяется практически на лету и абсолютно не требует повторного обучения гигантских матриц параметров, что само по себе экономит миллионы долларов вычислительного времени.

Практические испытания нового алгоритма, проведенные на базе флагманских ускорителей искусственного интеллекта Nvidia H100, продемонстрировали ошеломляющие результаты, подтверждающие состоятельность теоретических выкладок. В связке с современными графическими процессорами четырехбитная версия TurboQuant обеспечила восьмикратное увеличение скорости вычисления логитов внимания по сравнению с традиционными неквантованными тридцатидвухбитными ключами. Математика нейросетевого вывода трансформировалась: вместо того чтобы тратить драгоценные такты на пересылку тяжеловесных блоков данных между уровнями памяти, чипы теперь оперируют сверхкомпактными пакетами. При этом общий объем используемого кеша сократился ровно в шесть раз. Модель работает в разы быстрее, требует кратно меньше места и выдает идентичный по качеству результат, что в индустрии аппаратного обеспечения считается идеальным сценарием оптимизации.

Последствия этого прорыва для глобального рынка искусственного интеллекта трудно переоценить. В первую очередь, радикальное снижение аппаратных аппетитов больших языковых моделей открывает двери для их запуска на менее мощном, а значит, и более доступном оборудовании. Если раньше развертывание корпоративной нейросети требовало кластеров из десятков топовых видеокарт, то теперь аналогичную производительность можно будет получить на оборудовании предыдущих поколений или значительно меньшем количестве современных чипов. Для технологических гигантов это означает колоссальное удешевление масштабирования облачных ИИ-сервисов и снижение энергопотребления дата-центров, которое в последние годы стало вызывать серьезную озабоченность. Для стартапов же это уникальный шанс конкурировать в сфере генеративного интеллекта без необходимости привлекать астрономические инвестиции на закупку серверов.

Подводя итог, можно с уверенностью констатировать, что разработка Google Research смещает фокус всей индустрии с бесконечной гонки вычислительных мощностей на элегантность математических алгоритмов. Технология TurboQuant доказывает, что предел эффективности современных нейросетей еще далеко не достигнут, и внутри архитектуры трансформеров скрыты огромные нереализованные резервы. По мере интеграции этого алгоритма в открытые фреймворки и коммерческие продукты индустрия, вероятно, увидит новую волну ИИ-приложений, способных обрабатывать огромные контекстные окна с минимальными издержками. Искусственный интеллект становится не только функциональнее, но и экономичнее, делая еще один уверенный шаг к устойчивому и повсеместному внедрению в нашу повседневную жизнь.