Google ensinou LLMs a "dormir": SLEEP consolida conhecimento nos pesos e chega a 10 milhões de tokens

O Google Research publicou o SLEEP, um novo framework para o aprendizado contínuo de modelos de linguagem. Nele, a absorção de novos dados e a consolidação ficam separadas no tempo, de forma análoga à vigília e ao sono nos humanos. Durante o "sono", o conhecimento da memória temporária é transferido para os pesos de blocos MoE adicionais. Nos experimentos, a equipe demonstrou o funcionamento com sequências de até 10 milhões de tokens no BABILong, queda de qualidade quase nula no treinamento sequencial de tradução e 79,2% no AIME 2024, contra 69% no AIME 2025.

Dois buracos na memória do modelo

O aprendizado contínuo enfrenta dois problemas antigos. O primeiro é o esquecimento catastrófico: o modelo assimila informações novas e perde habilidades que havia adquirido antes. As atualizações de gradiente para a nova tarefa sobrescrevem pesos importantes para as tarefas antigas.

O segundo problema é que o conhecimento da janela de contexto, por si só, não vira memória permanente. Enquanto a informação está no prompt, o modelo a utiliza. Quando o contexto termina, tudo desaparece. Além disso, o contexto longo é caro: é preciso processá-lo de novo e mantê-lo na memória de trabalho a cada requisição. Se o conhecimento for gravado nos parâmetros, ele deixa de ocupar contexto e fica disponível sem ser reenviado.

Vigília, sono e "sonhos"

O SLEEP alterna entre dois modos.

• Vigília. O modelo trabalha com os dados de entrada e guarda a informação na memória de curto prazo.
• Sono. A entrada de novos dados é suspensa. O modelo ativa blocos de memória MoE adicionais e transfere o conhecimento para os pesos deles, de modo a interferir menos na informação já consolidada. Depois da transferência, a memória temporária é liberada.

Uma etapa separada é chamada de "sonhos". Combinações aleatórias de especialistas geram exemplos de treinamento, e o sistema seleciona os mais úteis e os usa para continuar o aprendizado. Na prática, o modelo prepara por conta própria o material de consolidação, sem precisar de um dataset externo a cada ciclo.

Há uma ressalva importante na descrição: o "sono" aqui é um ciclo controlado de ajuste fino, seguindo regras definidas pelos pesquisadores. A arquitetura e o código do modelo permanecem fixos. Não se trata de um organismo que evolui sozinho, e sim de um procedimento regulamentado aplicado sobre um modelo MoE convencional.

O que os experimentos mostraram

• BABILong. Trabalho com informações de sequências de até 10 milhões de tokens, consolidando-as nos parâmetros em vez de mantê-las no contexto.
• Treinamento sequencial de tradução. Queda quase nula nos resultados em idiomas aprendidos anteriormente depois da assimilação de novos.
• AIME 2024. Precisão de 79,2%.
• AIME 2025. Precisão de 69%.

O resultado mais revelador é, talvez, o de tradução. Os idiomas são aprendidos em sequência, e esse é o teste clássico de esquecimento: normalmente é nele que a qualidade nos primeiros idiomas mais despenca. Os resultados de matemática indicam que a consolidação de novos conhecimentos não destrói a capacidade de raciocínio. Vale notar também que o resultado no AIME 2025 é inferior ao de 2024. A diferença entre os dois anos é a mesma que se vê em muitos modelos, e, com uma única publicação, ainda é cedo para tirar conclusões sobre as causas.

Onde isso esbarra na prática

Para engenheiros, a principal questão é o custo. Transferir conhecimento para os pesos significa ciclos adicionais de ajuste fino, ou seja, computação que precisa ser planejada: quando o modelo "dorme", ele não atende requisições. Será preciso decidir com que frequência dormir, com que volume de memória acumulada e quantos blocos MoE reservar para o armazenamento. Esses parâmetros são definidos pelas regras dos pesquisadores, e cada equipe terá de ajustá-los à sua própria carga de trabalho.

O ganho potencial está na economia de contexto. Se conhecimento corporativo, conversas longas ou uma base de documentos em atualização forem consolidados nos pesos, não é preciso carregar milhões de tokens em cada requisição nem pagar pelo reprocessamento. Para agentes com longo histórico de trabalho, isso significa economia direta de memória e de latência.

Continua havendo um risco que a descrição não elimina: a gravação nos pesos é irreversível e mais difícil de auditar do que um documento no contexto ou em uma base externa. Em áreas regulamentadas, será preciso definir separadamente como remover e verificar o conhecimento consolidado. Por ora, o SLEEP deve ser visto como um resultado de pesquisa forte e um bom candidato a testes em projetos com dados atualizados continuamente. Ainda não é um componente pronto para produto.