MIT: ИИ-агенты обмениваются KV-кешем вместо текста и работают в 4 раза быстрее

Когда несколько ИИ-агентов делят одну задачу, им приходится передавать друг другу контекст. Один закончил свой кусок, второй должен продолжить. Обычно первый пишет текстовое саммари, а второй читает его с нуля. Исследователи из MIT предложили другой путь. Их архитектура SwaT (Swarm Telepathy) передаёт между моделями не пересказ, а KV-кеш, то есть уже обработанный контекст. По сравнению с текстовыми саммари, при сочетании SwaT со сжатием кеша, качество ответов выросло в среднем на 40%, а скорость в четыре раза.

Почему пересказ обходится дорого

Схема с саммари выглядит простой, но платить приходится дважды.

Первая плата — вычисления. Агент-отправитель тратит время и токены, чтобы написать пересказ. Агент-получатель потом заново обрабатывает этот текст, как будто видит его впервые.

Вторая плата — потери. Пересказ всегда короче оригинала. Мелкая деталь, которая показалась отправителю неважной, может понадобиться получателю через два шага. Вернуть её уже нельзя.

В длинных цепочках агентов это накапливается. Чем больше передач, тем больше лишней работы и тем сильнее искажается исходная картина.

Что передают вместо текста

KV-кеш — это внутренняя память языковой модели о том, что она уже прочитала. Пока модель обрабатывает текст, она для каждого токена сохраняет промежуточные данные, ключи и значения (key и value). Благодаря им ей не нужно пересчитывать весь контекст при генерации каждого нового слова. По сути, это «конспект», который модель составила для себя сама.

Идея SwaT в том, чтобы отдавать этот конспект следующему агенту напрямую. Тогда получателю не нужно перечитывать текст. И ничего не теряется на этапе человекочитаемого пересказа.

Тут есть сложность. У каждой модели свой внутренний формат: число слоёв, размерности, способ представления токенов. Поэтому кеш одной модели нельзя просто подставить в другую. По заявлению авторов, SwaT справляется с этим даже для моделей из разных семейств. Это самая нетривиальная часть работы, и именно она делает метод применимым к смешанным командам агентов.

Плюс к этому используется сжатие кеша. Полный кеш занимает много памяти, поэтому его уплотняют. Результаты, о которых сообщают авторы, получены именно в этой связке.

Что показали эксперименты

Сравнение шло с самым распространённым способом передачи контекста, текстовыми саммари. Результаты на бенчмарках:

• Качество ответов: в среднем на 40% выше, чем при передаче текстовых пересказов. • Скорость: примерно в четыре раза выше. • Работа между разными семействами моделей: получатель не обязан быть той же архитектуры, что отправитель. • Передача зрения: информацию от VLM (модели, обрабатывающей изображения вместе с текстом) удалось передать обычной текстовой модели, которая сама картинки не видит.

Последний пункт, пожалуй, самый любопытный. Текстовая модель получила не описание картинки, а внутреннее представление, которое построила VLM. Это открывает идею специализации. Одна модель смотрит на изображения, другая дёшево рассуждает над результатом, и обе не тратят ресурсы на перевод увиденного в слова.

Что это значит для инженеров

Для разработчиков агентных систем идея проста: пересказ между агентами — не единственный вариант, и часто не лучший. Если связка агентов работает на моделях, к которым есть доступ к внутренним состояниям, обмен кешем может сократить задержку и расходы на вычисления.

Есть и оговорки. Это научная работа на arXiv (2610.15095), а не готовый продукт. Цифры усреднены по набору бенчмарков, и на вашей задаче результат может отличаться. Кроме того, KV-кеш обычно недоступен через публичные API закрытых моделей. Поэтому применить такой подход проще всего с открытыми моделями, которые вы запускаете сами.

Тем не менее направление ясно. Если агенты будут обмениваться памятью модели, а не словами, многоагентные системы станут быстрее и точнее. И, возможно, появится новая норма: команды из разных моделей, каждая со своей специализацией, работают как единое целое.