NVIDIA представила KVTC: технология сжатия кэша LLM в 20 раз ускорит работу нейросетей

# NVIDIA представила KVTC: технология сжатия кэша LLM в 20 раз ускорит работу нейросетей

Индустрия искусственного интеллекта столкнулась с парадоксом: чем мощнее языковые модели, тем медленнее они работают. Исследователи NVIDIA обнаружили источник этого замедления и предложили радикальное решение. Новая архитектура KVTC позволяет сжимать служебный кэш данных в двадцать раз, устраняя главное узкое место, которое тормозит обработку запросов к современным нейросетям. Эта разработка может переломить экономику облачного AI, позволив компаниям обслуживать в несколько раз больше пользователей на одном сервере.

Проблема скрывалась в архитектуре самих трансформеров — именно на них построены ChatGPT, Claude, Gemini и остальные LLM. Когда модель обрабатывает текст, она создает специальный KV-кэш: в нем хранятся ключи и значения для каждого токена, которые нужны для расчета внимания на следующих этапах генерации. Звучит технически, но суть простая — это промежуточные данные, без которых модель не может продолжить разговор. По мере роста модели и увеличения контекста (количества слов, которые она помнит) этот кэш растет экспоненциально. Для продвинутых LLM размером в десятки миллиардов параметров KV-кэш может занимать десятки гигабайт видеопамяти GPU. При работе с длинными документами или в сценариях, когда сервер должен одновременно обслуживать сотни пользователей, память полностью забивается, и система начинает замораживаться.

Команда NVIDIA предложила использовать трансформационное кодирование для сжатия этого кэша без потери качества ответов. KVTC работает как интеллектуальный компрессор: система анализирует, какие части KV-кэша действительно критичны для точности, а какие можно безопасно отбросить или квантировать. В практических тестах метод достигает 20-кратного сжатия с минимальным падением производительности модели. Это не просто сокращение памяти — это фундаментальный пересмотр того, как хранятся служебные данные трансформеров.

Значение этого достижения трудно переоценить. Согласно исследованиям, на обслуживание LLM в облаке приходится до 60% затрат дата-центров на память и вычисления. Если KVTC позволит компании вмещать в четыре раза больше одновременных запросов на том же оборудовании, это означает четырехкратное снижение затрат на токен. Для сервиса вроде ChatGPT или Claude, обслуживающего миллионы запросов в день, это означает сотни миллионов долларов в сэкономленных расходах. Вместе с тем, пользователи получат более быструю генерацию текста — кэш, размещающийся в более быстрой памяти, обрабатывается заметно скорее.

Внедрение KVTC также расширит доступность AI. Компании, которые не могут себе позволить огромные кластеры с дорогостоящими GPU, смогут запускать мощные модели на более скромном оборудовании. Это особенно важно для стартапов и компаний вне технологических хабов. Исследователи NVIDIA уже поделились детальной документацией о методе, что позволит сообществу быстро интегрировать KVTC в популярные фреймворки вроде vLLM и TensorRT-LLM.

Хотя KVTC решает конкретную техническую задачу, она указывает на более широкий тренд в AI-индустрии: будущее принадлежит инженерам, которые умеют делать модели не больше и сложнее, а эффективнее. Когда размер моделей уже достигает физических и экономических границ, оптимизация становится конкурентным преимуществом. NVIDIA демонстрирует, что на переднем крае AI остаются места для действительно ценных инноваций — не в архитектуре моделей, а в том, как их практически запускать в реальном мире.