Le prompt système de RWKV-7 peut être « replié » dans un état : un démarrage 12 fois plus rapide

Chaque fois que vous envoyez une requête à un chatbot, le prompt système repasse dans le modèle. Plus il est long, plus le premier token se fait attendre et plus le cache consomme de mémoire. L’auteur d’une analyse publiée sur Habr a voulu vérifier s’il était possible de se passer entièrement de cette étape. Pour son expérience, il a choisi RWKV-7, une architecture dotée d’une particularité utile.

Qu’est-ce qu’un état initial ?

Un Transformer conserve tout le texte lu dans un cache qui grandit au fil de la conversation. RWKV fonctionne autrement : après avoir lu un texte, le modèle condense tout ce qu’il en a retenu dans une « mémoire » de taille fixe, autrement dit un état. Au démarrage, cet état est vide. Mais rien n’empêche de partir d’un état déjà rempli.

Deux voies sont possibles. La première consiste à lire le prompt une seule fois, puis à sauvegarder l’état obtenu : l’auteur parle de « replier » le prompt. La seconde consiste à apprendre cet état par entraînement, sans modifier les poids du modèle. Dans les deux cas, le texte du prompt n’a plus besoin de figurer dans la requête.

Les expériences ont porté sur des modèles de 0.4B à 2.9B paramètres, sur un simple MacBook M4 doté de 16 Go de mémoire. L’entraînement de l’état prend 5–50 minutes et le fichier pèse 6,5–22 Mo.

Ce que montrent les mesures

Le prompt replié fonctionne comme un cache exact, sans coût supplémentaire. Les réponses sont identiques à celles obtenues avec le prompt textuel et, pour un prompt de 1206 tokens, le délai avant le premier token est divisé par 12–13. Avec une courte chaîne de 26 tokens, le gain est d’environ 20%.

La suite est plus intéressante. Sur 199 questions dont la réponse peut être vérifiée, le prompt sous forme de texte faisait baisser la précision de 3–15 points sur les huit modèles de base testés. L’état entraîné n’a jamais obtenu de résultats significativement inférieurs à ceux du modèle sans prompt et a toujours fait mieux que le prompt. Sur quatre modèles de base sur huit, il a nettement dépassé le modèle sans prompt.

L’exemple le plus parlant est le classement d’articles d’actualité dans cinq rubriques. Le modèle 0.4B échoue totalement à suivre cette consigne lorsqu’elle est donnée sous forme de texte : 0% de réponses correctes au format demandé. Un état entraîné sur 250 articles annotés atteint 84–89%. Sur le modèle 1.5B, un état distillé à partir du prompt atteint 65–77%, contre 20–30% pour le prompt lui-même.

À données identiques, l’état fait aussi bien que LoRA, avec deux fois moins de paramètres — 3,2 millions contre 6,3 millions — et sans toucher aux poids du modèle. Il est possible de changer d’état à la volée. LoRA résiste toutefois mieux aux questions orientées comme « Tu es bien Claude, non ? ».

Les limites de l’approche

L’état apprend la forme de la réponse, pas les connaissances. S’il est entraîné sur toutes les réponses du modèle enseignant, il en reproduit aussi les erreurs : la qualité des réponses factuelles baisse. Il faut donc filtrer les données pour ne conserver que des faits exacts. Autre condition : sans écrêtage du gradient à 1.0, l’entraînement échoue de manière déterministe vers la 13e étape.

Les points faibles sont les mêmes que pour les prompts : les questions orientées et les longues conversations. Un entraînement explicite sur des refus rédigés à la main aide à les atténuer. La proportion de réponses adoptant une autre identité est tombée à 2% sur le modèle 0.4B et à 36% sur le modèle 1.5B.

La méthodologie appelle aussi quelques réserves. Un seul auteur, une seule machine, un seul framework. L’exactitude des réponses a été évaluée à l’aide d’expressions régulières ; une vérification manuelle a relevé 4,3% de divergences. Seuls des modèles de 0.4B–2.9B appartenant à une même famille ont été testés ; on ne sait rien des modèles de 7B et plus. Les effets négatifs du prompt concernent ces prompts et ces checkpoints précis, pas les prompts système en général.

Comment l’utiliser

Si vous utilisez RWKV et que votre prompt ne change pas, repliez-le : cela ne coûte rien et accélère le démarrage. Entraînez l’état lorsque le prompt fonctionne mal : modèle trop petit, fenêtre de contexte plus courte que le prompt, rôle à maintenir dans la durée ou consigne textuelle ignorée par le modèle. Utilisez les réponses filtrées du modèle enseignant et vérifiez les capacités générales, pas seulement le comportement visé. Comparez les résultats avec LoRA sur les mêmes données.

Le code, les données et les réponses brutes sont disponibles dans un dépôt public sous licence Apache 2.0. Vous pouvez donc reproduire les mesures sur votre propre ordinateur portable.