Как запустить нейросеть дешевле: Google TurboQuant оптимизирует память
Google показала TurboQuant — метод сжатия KV-кэша, который может уменьшить память для инференса минимум в шесть раз и ускорить расчёт внимания. Это особенно важно для локального запуска LLM и длинных диалогов. Речь не о весах модели, а о её рабочей памяти во время генерации. Но рост общих затрат на AI-инфраструктуру технология вряд ли остановит.
AI-обработка оригинала ZDNet AI; редакция Hamidun News
Google Research 24 марта разработала TurboQuant — алгоритм для локальных нейросетей, который уменьшает требования к памяти во время ответа.
Что такое KV-кэш в нейросетях?
Это рабочая память, в которой языковая модель хранит промежуточные ключи и значения для уже обработанных токенов. Чем длиннее диалог или документ, тем больше памяти занимает этот кэш, и тем дороже запуск модели.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.