El prompt de sistema de RWKV-7 se puede «plegar» en un estado: arranque 12 veces más rápido
Un transformer vuelve a leer el prompt de sistema en cada solicitud y lo almacena en una caché que sigue creciendo. RWKV-7 tiene una memoria de tamaño fijo, por lo que el prompt puede leerse una vez y guardarse como estado inicial. El prompt plegado produce las mismas respuestas, pero el primer token llega entre 12 y 13 veces más rápido. En modelos de 0.4B–2.9B, un estado entrenado a veces ofrece más precisión que el propio texto.
Procesado por IA desde Habr AI; editado por Hamidun News
Cada vez que envías una solicitud a un chatbot, el prompt de sistema vuelve a pasar por el modelo. Cuanto más largo es, más tarda en llegar el primer token y más memoria consume la caché. El autor de un análisis en Habr comprobó si era posible prescindir por completo de este proceso y eligió para el experimento RWKV-7, una arquitectura con una característica útil.
Qué es un estado inicial
Un transformer almacena todo el texto que ha leído en una caché que crece con la conversación. RWKV funciona de otra manera: después de leer el texto, comprime todo lo que recuerda en una «memoria» de tamaño fijo, es decir, en un estado. Antes de empezar a procesar, ese estado está vacío. Pero también puede partir de un estado que ya contenga información.
Hay dos vías. La primera consiste en leer el prompt una vez y guardar el estado resultante; el autor lo llama «plegar» el prompt. La segunda consiste en aprender un estado mediante entrenamiento, sin modificar los pesos del modelo. En ambos casos, el texto del prompt deja de ser necesario en la solicitud.
Los experimentos se realizaron con modelos de entre 0.4B y 2.9B parámetros en un MacBook M4 convencional con 16 GB de memoria. Entrenar el estado lleva entre 5 y 50 minutos, y el archivo ocupa entre 6,5 y 22 MB.
Qué mostraron las mediciones
El prompt plegado funciona como una caché exacta y gratuita. Las respuestas coinciden con las del prompt en texto y, con un prompt de 1206 tokens, el tiempo hasta el primer token es entre 12 y 13 veces menor. Con una cadena corta de 26 tokens, la mejora ronda el 20%.
Los siguientes resultados son más interesantes. En 199 preguntas con respuestas verificables, un prompt en texto redujo la precisión entre 3 y 15 puntos en los ocho modelos base evaluados. El estado entrenado nunca rindió significativamente peor que el modelo sin prompt y siempre superó al prompt en texto. En cuatro de los ocho modelos base, superó claramente al modelo sin prompt.
El ejemplo más ilustrativo es la clasificación de noticias en cinco categorías. El modelo de 0.4B es incapaz de seguir esa instrucción en texto: obtiene un 0% de respuestas correctas en el formato requerido. Un estado entrenado con 250 artículos etiquetados alcanza entre el 84 y el 89%. En el modelo de 1.5B, un estado destilado a partir del prompt llega al 65–77%, frente al 20–30% del propio prompt.
Frente a LoRA, el estado ofrece un rendimiento equivalente con los mismos datos, pero utiliza la mitad de parámetros —3,2 millones frente a 6,3 millones— y mantiene intactos los pesos. El estado puede cambiarse sobre la marcha. Sin embargo, LoRA resiste mejor preguntas tendenciosas como «Eres Claude, ¿verdad?».
Dónde falla
El estado aprende la forma de la respuesta, no los conocimientos. Si se entrena con todas las respuestas del modelo profesor, también copia sus errores: empeora la calidad de las respuestas sobre hechos. Por eso hay que filtrar los datos y conservar los hechos correctos. Otra condición: sin recorte de gradientes con un valor de 1.0, el entrenamiento falla de forma determinista alrededor del paso 13.
Los puntos débiles son los mismos que con los prompts: las preguntas tendenciosas y las conversaciones largas. Ayuda entrenar explícitamente con respuestas de rechazo redactadas a mano. La proporción de respuestas que adoptaban otra identidad bajó al 2% en 0.4B y al 36% en 1.5B.
También hay salvedades metodológicas. Un autor, una máquina y un framework. La corrección de las respuestas se evaluó mediante expresiones regulares; una comprobación manual encontró un 4,3% de discrepancias. Solo se probaron modelos de 0.4B–2.9B de una misma familia; no se sabe nada sobre los de 7B o más. El efecto perjudicial del prompt se limita a estos prompts y checkpoints concretos, no a los prompts de sistema en general.
Qué hacer con estos resultados
Si usas RWKV y tu prompt no cambia, pliégalo: no cuesta nada y acelera el arranque. Entrena un estado cuando el prompt funcione mal: si el modelo es pequeño, la ventana de contexto es más corta que el prompt, el rol debe mantenerse o el modelo ignora la instrucción en texto. Entrena con respuestas filtradas del modelo profesor y comprueba las capacidades generales, además del comportamiento objetivo. Compara con LoRA usando los mismos datos.
El código, los datos y las respuestas sin procesar están disponibles en un repositorio abierto bajo Apache 2.0, de modo que puedes verificar los resultados en tu propio portátil.
- 12 nov 2026Jensen Huang deja el cargo de CEO de Nvidia: la empresa pierde 1,4 billones de dólares en dos semanas
- 12 nov 2026Claude in Chrome exige autorizar cada clic en los sitios de categoría 3
- 12 nov 2026AWS Quick incorpora seis agentes para product managers: de las quejas de los clientes a la especificación
- 12 nov 2026Anthropic cierra Claude desde el 12 de noviembre a las empresas de Rusia, incluso con entidad jurídica en el extranjero
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué es un estado inicial?
Un transformer almacena todo el texto que ha leído en una caché que crece con la conversación. RWKV funciona de otra manera: después de leer el texto, comprime todo lo que recuerda en una «memoria» de tamaño fijo, es decir, en un estado. Antes de empezar a procesar, ese estado está vacío. Pero también puede partir de un estado que ya contenga información. Hay dos vías. La primera consiste en leer el prompt una vez y guardar el estado resultante; el autor lo llama «plegar» el prompt.
¿Qué se sabe sobre Qué mostraron las mediciones?
El prompt plegado funciona como una caché exacta y gratuita. Las respuestas coinciden con las del prompt en texto y, con un prompt de 1206 tokens, el tiempo hasta el primer token es entre 12 y 13 veces menor. Con una cadena corta de 26 tokens, la mejora ronda el 20%. Los siguientes resultados son más interesantes. En 199 preguntas con respuestas verificables, un prompt en texto redujo la precisión entre 3 y 15 puntos en los ocho modelos base evaluados.
Dónde falla?
El estado aprende la forma de la respuesta, no los conocimientos. Si se entrena con todas las respuestas del modelo profesor, también copia sus errores: empeora la calidad de las respuestas sobre hechos. Por eso hay que filtrar los datos y conservar los hechos correctos. Otra condición: sin recorte de gradientes con un valor de 1.0, el entrenamiento falla de forma determinista alrededor del paso 13. Los puntos débiles son los mismos que con los prompts: las preguntas tendenciosas y las conversaciones largas.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.