Galahad-kv сохраняет KV-кэш на NVMe и грузит блок в 2,8–4,3 раза быстрее пересчёта

Исследователи проверили слой памяти для LLM, который не пересчитывает промпт заново, а достаёт готовое KV-состояние с диска. Пакет galahad-kv прогнали на 50 млн токенов реального публичного текста через vLLM на одной NVIDIA H100 с моделями Gemma 4 12B и Gemma 4 31B. Все 100 из 100 проверенных блоков вернулись из хранилища без пересчёта. Загрузка вышла в 2,8–4,3 раза быстрее, а GPU потратила в 8,8–12,3 раза меньше энергии.

Как устроен слой памяти

Модель использует только тот текст, который помещается в контекстное окно. Кроме того, при каждой отправке промпта она заново считает внутреннее KV-состояние (key-value), хотя текст мог не измениться. На длинных контекстах этот пересчёт занимает время и энергию.

Galahad-kv режет поток на блоки примерно по 16 000 токенов. KV-состояние каждого блока записывается на зашифрованный локальный NVMe-диск, а при обращении возвращается побайтно точно. По грубой прикидке, 50 млн токенов дают около 3 100 блоков. Хранилище при этом измеряется терабайтами.

Авторы сразу уточняют: это переиспользование сохранённого состояния. Окно внимания остаётся прежним, за один раз загружается один блок, а качество ответа зависит от самой модели.

Что показали замеры

Тест шёл на одной H100 под vLLM, глубина проверяемых блоков доходила до 50 млн токенов. Ключевые метрики:

• 100 из 100 проверенных блоков загружены из зашифрованного хранилища без пересчёта, на обеих моделях, на глубинах от 0 до 50 млн токенов;
• загрузка блока в 2,8–4,3 раза быстрее пересчёта;
• расход энергии GPU в 8,8–12,3 раза ниже;
• память GPU оставалась ровной на всём потоке в 50 млн токенов;
• Gemma 4 12B верно ответила на 82 вопроса из 100, Gemma 4 31B на 98 из 100;
• ни одна из моделей не выдумала ответ.

Последний пункт важен не меньше скорости. В вопросах о фактах, заложенных за миллионы токенов до запроса, модель чаще всего ломается тем, что уверенно отвечает невпопад. Здесь ошибки сводились к отсутствию верного ответа, а не к галлюцинациям. Разница между 82 и 98 процентами показывает, что слой памяти доставляет состояние, а прочитать его правильно должна сама модель. Старшая справляется заметно лучше.

Где границы и кому это пригодится

У подхода три ограничения. Запись памяти стоит разово: каждый блок нужно один раз посчитать и сохранить. Хранилищу нужны терабайты локального NVMe. И единовременно подгружается только один блок, так что вопросы, требующие свести факты из многих мест корпуса сразу, этим тестом не закрыты. Это препринт первой версии, независимых воспроизведений пока не видно. Но авторы описывают протокол, рассчитанный на защиту от типичных способов обмануть длинноконтекстные бенчмарки, и дают воспроизведение на одной GPU с публичным софтом и бесплатной лицензией на пакет.

Практический вывод для инженеров такой. Подход имеет смысл там, где один и тот же большой массив текста читают снова и снова: репозитории кода, документация, архивы, долгая история агента. Здесь пересчёт префикса съедает основную часть GPU-времени. Прежде чем внедрять, стоит посчитать три вещи: сколько терабайт NVMe потребуется под ваш корпус, окупается ли разовая запись при вашей частоте обращений и достаточно ли вашей модели для точного чтения загруженного блока. Для проверки хватит одной H100 и публичного стека из статьи. Прогон на собственных данных быстро покажет, повторятся ли цифры 2,8–4,3 раза по скорости и 8,8–12,3 раза по энергии.