Google ensina modelos de linguagem a "dormir" e a transferir conhecimento da memória para os pesos

Google ensina modelos de linguagem a "dormir" e a transferir

conhecimento da memória para os pesos

O Google Research publicou um framework chamado SLEEP, um método para ensinar novas informações a modelos de linguagem sem que eles percam o que já sabiam. A ideia nasceu de dois problemas clássicos do aprendizado contínuo.

O primeiro é o esquecimento catastrófico: quando um modelo é ajustado para uma nova tarefa, as atualizações dos pesos podem sobrescrever informações importantes para tarefas anteriores. O segundo é que o conhecimento extraído da janela de contexto nunca se transforma em memória permanente. Enquanto a informação está no prompt, o modelo pode usá-la; quando o contexto acaba, ela se perde. E manter um contexto longo é caro: é preciso reprocessá-lo e mantê-lo em memória em cada requisição.

Vigília, sono e "sonhos"

O SLEEP divide o funcionamento do modelo em dois modos.

• Vigília: o modelo recebe entradas e armazena a informação na memória de curto prazo, como de costume.
• Sono: a entrada de novos dados é pausada. O modelo ativa blocos adicionais de memória MoE (mistura de especialistas) e transfere o conhecimento acumulado para os pesos desses blocos, tentando afetar o mínimo possível o que já está consolidado. Depois da transferência, a memória temporária é limpa.

Há também uma fase separada de "sonhos": combinações aleatórias de especialistas geram seus próprios exemplos de treinamento, e o sistema seleciona os mais úteis para o treinamento seguinte. Ou seja, o modelo prepara, em parte, seu próprio material de consolidação, sem depender de um dataset externo em cada ciclo.

Um detalhe importante: o "sono" é um ciclo de fine-tuning controlado, regido por regras definidas pelos pesquisadores, e não uma reestruturação autônoma do modelo. A arquitetura e o código permanecem fixos; só mudam os pesos dos blocos MoE designados.

O que os experimentos mostraram

A equipe testou a abordagem em três tarefas diferentes.

• BABILong: um teste de manuseio de contexto extremamente longo. O modelo reteve informações de sequências de até 10 milhões de tokens, não expandindo a janela de contexto, mas consolidando o conhecimento diretamente nos parâmetros.
• Treinamento sequencial de tradução: um teste clássico de esquecimento. Os idiomas foram aprendidos um após o outro, e nesse tipo de teste a qualidade nos primeiros idiomas costuma cair bastante ao incorporar novos idiomas. Com o SLEEP, essa queda foi praticamente nula.
• Matemática (AIME): 79,2% de precisão no AIME 2024 e 69% no AIME 2025. A diferença entre os dois anos não é nenhuma surpresa — variações semelhantes aparecem em muitos modelos para esses dois conjuntos de problemas, e é prematuro tirar conclusões sobre as causas a partir de um único artigo. O que importa mais é outra coisa: transferir conhecimento para os pesos não destruiu a capacidade do modelo de fazer raciocínio matemático.

O que isso significa para equipes de engenharia

A questão central é o custo. Transferir conhecimento para os pesos exige ciclos adicionais de fine-tuning e, portanto, poder computacional que precisa ser planejado: durante o "sono", o modelo não atende requisições. Será preciso decidir com que frequência executar esse ciclo, quanta memória acumular antes dele e quantos blocos MoE reservar para armazenamento — todos esses parâmetros são definidos pelas regras dos desenvolvedores, e cada equipe terá que ajustá-los para sua própria carga de trabalho.

O benefício potencial está na economia de contexto. Se uma base de conhecimento corporativa, uma conversa longa ou documentos atualizados com frequência forem consolidados nos pesos, não será necessário reprocessar milhões de tokens a cada vez nem pagar por esse reprocessamento. Para agentes com históricos de operação longos, isso se traduz diretamente em economia de memória e menor latência de resposta.

Resta ainda um risco que a descrição do framework não resolve: escrever nos pesos é mais difícil de rastrear e desfazer do que um documento no contexto ou em um banco de dados externo. Para setores regulados, será preciso pensar separadamente em como auditar — e, se necessário, remover — o que o modelo consolidou durante o "sono". Nesta fase, o SLEEP deve ser visto como um resultado de pesquisa sólido e um candidato para testes-piloto em projetos com dados constantemente atualizados, não como um componente de produção pronto para uso.