Cientistas criam o MEMO, framework que amplia a memória de LLMs sem retreinamento

Pesquisadores da Universidade Nacional de Singapura (NUS), do MIT e da A*STAR apresentaram o MEMO, um framework modular que permite aos modelos de linguagem aprender rapidamente novos conhecimentos sem retreinar o modelo principal.

O problema de escalar o conhecimento

Os grandes modelos de linguagem atuais são treinados com enormes conjuntos de dados e guardam o que aprendem em seus parâmetros. Quando é preciso adicionar conhecimento novo, como dados de uma base corporativa, manuais médicos ou informações atualizadas sobre acontecimentos recentes, a abordagem tradicional exige retreinar o modelo por completo. Isso significa meses de computação, milhões de dólares em custos e um enorme consumo de energia. Além disso, no retreinamento o modelo principal pode "desaprender" o que já sabia, fenômeno conhecido como esquecimento catastrófico.

Como o MEMO funciona

O MEMO propõe uma solução elegante: um módulo treinável separado, chamado de "modelo de memória". Em vez de mexer nos parâmetros da LLM principal, o conhecimento novo é codificado nesse módulo dedicado, que funciona como uma camada adicional de memória e amplia as capacidades do modelo sem refazê-lo.

A arquitetura do MEMO tem vários componentes modulares:

• LLM principal (congelada): gera texto normalmente, sem nenhuma alteração nos parâmetros
• Modelo de memória: módulo compacto e treinável que armazena novos fatos e conhecimentos do corpus
• Módulo de integração: conecta a memória ao modelo principal na geração das respostas ao usuário
• Mecanismo de busca: encontra fatos relevantes na memória no momento da inferência para dar contexto
• Pipeline de treinamento: atualiza apenas os parâmetros do módulo de memória, deixando a LLM intacta

Vantagens práticas

Essa abordagem traz a empresas e pesquisadores várias vantagens importantes. Primeiro, uma economia radical de recursos computacionais: só o compacto módulo de memória precisa ser retreinado, e não uma LLM de bilhões de parâmetros, com centenas de bilhões. Segundo, o modelo principal permanece estável: seu comportamento original e o conhecimento adquirido antes não se diluem com a adição de novos fatos. Terceiro, o conhecimento pode ser atualizado em horas ou dias, e não em meses de ciclos de retreinamento trabalhosos.

Para o uso corporativo, isso significa poder adaptar LLMs prontas às suas tarefas de forma barata e rápida: adicionar conhecimento específico de um domínio, atualizar informações em tempo real conforme novos acontecimentos e criar variações personalizadas dos modelos para diferentes produtos e clientes.

O que isso significa

O MEMO é mais um passo importante rumo a arquiteturas modulares para IA. Em vez de tratar um grande modelo de linguagem como uma caixa-preta indivisível, que precisa ser totalmente retreinada a cada atualização de conhecimento, os pesquisadores mostram que memória e capacidades originais podem ser separadas. Isso abre caminho para formas mais flexíveis, baratas e eficientes de desenvolver e adaptar modelos de linguagem.