MIT: los agentes de IA intercambian KV-cache en lugar de texto y trabajan 4 veces más rápido

Cuando varios agentes de IA se reparten una tarea, tienen que pasarse el contexto. Uno termina su parte y el siguiente debe continuar. Lo habitual es que el primero escriba un resumen de texto y que el segundo lo lea desde cero. Investigadores del MIT proponen otro camino. Su arquitectura SwaT (Swarm Telepathy) no transmite entre modelos un resumen, sino el KV-cache, es decir, el contexto ya procesado. Combinado con la compresión del caché, SwaT mejoró la calidad de las respuestas un 40% de media y multiplicó la velocidad por cuatro frente a los resúmenes de texto.

Por qué el resumen sale caro

El esquema con resúmenes parece sencillo, pero se paga dos veces.

El primer pago es de cómputo. El agente emisor gasta tiempo y tokens en escribir el resumen. Después, el agente receptor procesa ese texto otra vez, como si lo viera por primera vez.

El segundo pago son las pérdidas. Un resumen siempre es más corto que el original. Un detalle menor que al emisor le pareció irrelevante puede hacerle falta al receptor dos pasos más adelante. Y ya no hay forma de recuperarlo.

En cadenas largas de agentes, este efecto se acumula. Cuantas más transferencias, más trabajo innecesario y más se distorsiona la imagen original.

Qué se transmite en lugar de texto

El KV-cache es la memoria interna del modelo de lenguaje sobre lo que ya ha leído. Mientras procesa un texto, el modelo guarda para cada token datos intermedios: claves y valores (key y value). Gracias a ellos no necesita recalcular todo el contexto cada vez que genera una palabra nueva. En esencia, es un «apunte» que el propio modelo ha redactado para sí mismo.

La idea de SwaT es entregar ese apunte directamente al siguiente agente. Así, el receptor no tiene que releer el texto. Y no se pierde nada en la etapa del resumen legible para humanos.

Aquí hay una dificultad. Cada modelo tiene su propio formato interno: número de capas, dimensiones, forma de representar los tokens. Por eso el caché de un modelo no se puede insertar sin más en otro. Según los autores, SwaT lo resuelve incluso para modelos de distintas familias. Es la parte más compleja del trabajo y la que hace que el método sea aplicable a equipos mixtos de agentes.

Además, se usa compresión del caché. El caché completo ocupa mucha memoria, por lo que se compacta. Los resultados que comunican los autores se obtuvieron precisamente con esta combinación.

Qué mostraron los experimentos

La comparación se hizo con la forma más extendida de transmitir contexto: los resúmenes de texto. Resultados en benchmarks:

• Calidad de las respuestas: de media un 40% superior a la de los resúmenes de texto. • Velocidad: aproximadamente cuatro veces mayor. • Trabajo entre distintas familias de modelos: el receptor no tiene por qué compartir arquitectura con el emisor. • Transmisión de visión: la información de un VLM (modelo que procesa imágenes junto con texto) se pudo transmitir a un modelo de texto convencional, que por sí mismo no ve imágenes.

El último punto es quizá el más curioso. El modelo de texto no recibió una descripción de la imagen, sino la representación interna que construyó el VLM. Esto abre la puerta a la especialización: un modelo mira las imágenes, otro razona a bajo coste sobre el resultado, y ninguno gasta recursos en traducir lo visto a palabras.

Qué significa para los ingenieros

Para quienes desarrollan sistemas de agentes, la idea es simple: el resumen entre agentes no es la única opción, y a menudo tampoco la mejor. Si el conjunto de agentes funciona con modelos que permiten acceder a los estados internos, intercambiar el caché puede reducir la latencia y el gasto de cómputo.

Hay también salvedades. Se trata de un trabajo científico en arXiv (2610.15095), no de un producto terminado. Las cifras son promedios sobre un conjunto de benchmarks, y en su tarea el resultado puede ser distinto. Además, el KV-cache normalmente no está disponible a través de las API públicas de los modelos cerrados. Por eso lo más sencillo es aplicar este enfoque con modelos abiertos que uno mismo ejecuta.

Aun así, la dirección está clara. Si los agentes intercambian la memoria del modelo en lugar de palabras, los sistemas multiagente serán más rápidos y más precisos. Y quizá surja una nueva norma: equipos de modelos distintos, cada uno con su especialización, que funcionan como un todo.