O prompt de sistema do RWKV-7 pode ser “dobrado” em um estado: início 12 vezes mais rápido

Toda vez que você envia uma solicitação a um chatbot, o prompt de sistema passa novamente pelo modelo. Quanto mais longo ele é, maior a espera pelo primeiro token e maior o consumo de memória pelo cache. O autor de uma análise no Habr testou se seria possível eliminar esse processo e escolheu para o experimento o RWKV-7, uma arquitetura com uma característica útil.

O que é um estado inicial

Um transformer armazena todo o texto que leu em um cache que cresce com a conversa. O RWKV funciona de outra forma: depois de ler o texto, comprime tudo o que lembra em uma “memória” de tamanho fixo, ou seja, em um estado. Antes de começar o processamento, esse estado está vazio. Mas também é possível partir de um estado que já contenha informações.

Há dois caminhos. O primeiro é ler o prompt uma única vez e salvar o estado resultante; o autor chama isso de “dobrar” o prompt. O segundo é aprender um estado por meio de treinamento, sem alterar os pesos do modelo. Nos dois casos, o texto do prompt deixa de ser necessário na solicitação.

Os experimentos usaram modelos de 0.4B a 2.9B parâmetros em um MacBook M4 comum com 16 GB de memória. Treinar o estado leva de 5 a 50 minutos, e o arquivo ocupa de 6,5 a 22 MB.

O que as medições mostraram

O prompt dobrado funciona como um cache exato e gratuito. As respostas coincidem com as produzidas pelo prompt em texto e, com um prompt de 1206 tokens, o tempo até o primeiro token é de 12 a 13 vezes menor. Com uma sequência curta de 26 tokens, o ganho fica em torno de 20%.

Os resultados seguintes são mais interessantes. Em 199 perguntas com respostas verificáveis, um prompt em texto reduziu a precisão de 3 a 15 pontos em todos os oito modelos base testados. O estado treinado nunca teve desempenho significativamente pior que o modelo sem prompt e sempre superou o prompt em texto. Em quatro dos oito modelos base, superou claramente o modelo sem prompt.

O exemplo mais evidente é a classificação de notícias em cinco categorias. O modelo de 0.4B não consegue seguir essa instrução em texto: registra 0% de respostas corretas no formato exigido. Um estado treinado com 250 artigos rotulados alcança de 84 a 89%. No modelo de 1.5B, um estado destilado a partir do prompt chega a 65–77%, contra 20–30% do próprio prompt.

Em comparação com o LoRA, o estado tem desempenho equivalente com os mesmos dados, mas usa metade dos parâmetros —3,2 milhões contra 6,3 milhões— e mantém os pesos intactos. É possível trocar o estado durante a execução. O LoRA, porém, resiste melhor a perguntas que induzem a resposta, como “Você é o Claude, não é?”.

Onde isso falha

O estado aprende o formato da resposta, não o conhecimento. Se for treinado com todas as respostas do modelo professor, também copiará seus erros: a qualidade das respostas factuais cai. Por isso, é necessário filtrar os dados e manter os fatos corretos. Outra condição: sem limitar os gradientes ao valor de 1.0, o treinamento falha de forma determinística por volta do passo 13.

Os pontos fracos são os mesmos dos prompts: perguntas que induzem a resposta e conversas longas. O treinamento explícito com recusas redigidas manualmente ajuda. A proporção de respostas que assumiam outra identidade caiu para 2% no modelo de 0.4B e para 36% no de 1.5B.

Também há ressalvas metodológicas. Um autor, uma máquina e um framework. A correção das respostas foi avaliada com expressões regulares; uma conferência manual encontrou 4,3% de divergências. Foram testados apenas modelos de 0.4B–2.9B de uma mesma família; nada se sabe sobre os de 7B ou maiores. O efeito prejudicial do prompt se aplica a esses prompts e checkpoints específicos, não aos prompts de sistema em geral.

O que fazer com esses resultados

Se você usa RWKV e seu prompt não muda, dobre-o: não custa nada e acelera o início. Treine um estado quando o prompt funcionar mal: se o modelo for pequeno, a janela de contexto for menor que o prompt, o papel precisar ser mantido ou o modelo ignorar a instrução em texto. Treine com respostas filtradas do modelo professor e verifique as capacidades gerais, além do comportamento desejado. Compare com o LoRA usando os mesmos dados.

O código, os dados e as respostas brutas estão disponíveis em um repositório aberto sob Apache 2.0, permitindo verificar os resultados no seu próprio notebook.