WAKMan подбирает политику вытеснения KV-кэша и обгоняет LRU на 5 п.п.

Prefix caching в LLM-серверах экономит деньги и время, но только пока в памяти остаётся нужный префикс. Память ограничена, и итог зависит от политики вытеснения KV-кэша. Исследователи Suhas Kumar Morisetty и ещё трое авторов, работавшие в рамках стажировки в Capital One, проверили популярные стратегии на 20 смесях нагрузки. Вывод простой: единой лучшей политики не существует. Они предложили WAKMan, менеджер, который выбирает политику вытеснения по живому трафику. Он в среднем улучшает hit rate на 5 процентных пунктов по сравнению с LRU.

Почему агенты и чат-боты хотят от кэша разного

Prefix caching позволяет серверу переиспользовать Key-Value состояния для запросов, у которых общий префикс с предыдущими промптами. Это ускоряет стадию prefill и снижает задержку и стоимость обслуживания. Но реальный продакшен-трафик пёстрый: одиночные запросы, многоходовые диалоги, агентные цепочки или любая их смесь.

У этих типов запросов разное «время возврата» к префиксу. Шаги агента возвращаются в течение нескольких секунд, им нужен кэш, который помнит недавнее. Популярные промпты и длинные диалоги возвращаются после множества других запросов, и для них важнее частота обращений. Первая картина хорошо ложится на LRU, вторая на частотные политики.

Где LRU выигрывает, а где проигрывает

В vLLM по умолчанию используется LRU. Авторы сравнили его с частотно-ориентированным S3FIFO и получили картину, которая ломает привычку выбирать одну политику навсегда:

• на смесях с преобладанием агентных запросов LRU даёт на 12% больше попаданий в кэш, чем S3FIFO;
• на остальных смесях LRU отстаёт от S3FIFO на величину до 22%;
• даже один параметр нагрузки способен поменять победителя внутри одной и той же смеси.

Последний пункт самый неприятный для инженеров. Нельзя один раз измерить трафик, выбрать политику и забыть. Достаточно сдвинуться одному параметру, и вчерашний лидер оказывается в хвосте.

Что делает WAKMan

WAKMan выбирает политику вытеснения на основе живого трафика. Ему не нужно знать, какие именно запросы приходят, и не нужно читать сами промпты. Для продакшена это важное условие: содержимое запросов часто чувствительно, особенно в организации вроде финансовой компании, где проходила стажировка. Менеджеру достаточно наблюдать за поведением трафика.

Итоговые показатели WAKMan:

• прирост hit rate над LRU в среднем на 5 процентных пунктов;
• самый низкий средний разрыв с оптимальной политикой среди всех сравниваемых;
• самый низкий худший разрыв с оптимумом среди всех сравниваемых;
• проверка на 20 смесях single-turn, multi-turn и agentic нагрузок.

Второй и третий пункты важнее среднего прироста. Они говорят о предсказуемости: WAKMan не обязательно побеждает в каждой отдельной смеси, зато реже и меньше промахивается мимо лучшего варианта. Для оператора инференса это ценнее одной красивой победы на конкретном бенчмарке.

Что делать командам, у которых растёт доля агентов

Агентные сценарии быстро занимают всё большую часть трафика. Вместе с ними меняется профиль кэша: коротких «горячих» возвратов становится больше, а фоном остаются популярные промпты и длинные диалоги. Если политика вытеснения зашита в сервер и никогда не пересматривается, часть выигрыша от prefix caching теряется. Теряется он в виде повторного prefill, то есть лишних GPU-секунд и лишней задержки.

Практический вывод для тех, кто держит собственный инференс на vLLM:

• измеряйте hit rate раздельно по типам нагрузки, а не только в среднем по серверу;
• не считайте LRU безусловно безопасным выбором: на части смесей он проигрывает S3FIFO до 22%;
• проверяйте политику заново при смене доли агентного трафика;
• оценивайте решения по худшему случаю, а не только по среднему приросту.

WAKMan показывает, что выбор политики можно автоматизировать без доступа к содержимому запросов. Для крупных развёртываний прибавка в 5 процентных пунктов hit rate означает меньше повторных вычислений на каждом префиксе и более ровную задержку при смешанном трафике.