Aprendizado subliminar: as redes neurais lembram o que deveriam ter esquecido?

Em artigos anteriores, tratamos do aprendizado subliminar em redes neurais e levantamos mais perguntas do que respostas. Chegou a hora de aprofundar o fenômeno, com base em novos experimentos e na análise de código. Uma das questões centrais do alinhamento de IA (AI Alignment) e da segurança de grandes modelos de linguagem (LLMs) é esta: o fine-tuning ou o aprendizado por reforço com feedback humano (RLHF) é uma forma confiável de remover informações indesejadas ou perigosas inseridas originalmente no modelo?

Os experimentos mostram que o conhecido efeito de conectividade de modos (Mode Connectivity) torna praticamente impossível apagar por completo, com um fine-tuning padrão, a informação adquirida no pré-treinamento. A questão é que uma "impressão" estrutural (imprinting) permanece na topologia dos pesos da rede e pode ser lida por uma espécie de canal "subliminar". Mesmo com os pesos totalmente descongelados (ou seja, com todos os parâmetros da rede livres para mudar) e com uma regularização L2 agressiva, voltada a "esquecer" ativamente o conhecimento antigo, a topologia do espaço latente formada no pré-treinamento se mantém e continua influenciando de forma significativa a solução da nova tarefa. A precisão na reprodução de conhecimentos antigos, aparentemente removidos, pode chegar a 88-99%.

O efeito de conectividade de modos pode ser explicado assim: o cenário de perda de uma rede neural (isto é, a função que ela tenta minimizar durante o treinamento) tem uma estrutura complexa, com muitos mínimos locais. Cada um deles corresponde a um "modo", ou jeito de resolver a tarefa. Conectividade de modos significa que esses mínimos são ligados por "caminhos" de perda relativamente baixa, o que permite ao modelo alternar entre diferentes regimes de funcionamento sem perder a estrutura geral do conhecimento.

As implicações dessa descoberta para a segurança e a confiabilidade dos LLMs são enormes. Se a informação indesejada não pode ser totalmente removida, existe o risco de ela "aparecer" no pior momento possível, por exemplo ao gerar texto, interagir com um usuário ou tomar decisões. Isso é especialmente perigoso em modelos usados em áreas críticas, como saúde, finanças e justiça.

Além disso, os resultados colocam em dúvida a eficácia dos métodos atuais de alinhamento de IA voltados a controlar e dirigir o comportamento dos LLMs. Se um modelo mantém conhecimentos ocultos que não podem ser controlados diretamente, é preciso desenvolver métodos novos e melhores, que levem em conta esse efeito do aprendizado subliminar.

Uma direção possível é projetar arquiteturas de redes neurais mais resistentes à retenção de informações indesejadas. Outra é desenvolver métodos de fine-tuning mais eficazes, que não apenas adaptem o modelo a uma nova tarefa, mas também "esqueçam" ativamente o conhecimento antigo, sem destruir a estrutura geral do modelo.

Em conclusão, o estudo do aprendizado subliminar em redes neurais mostra que fine-tuning e RLHF não são uma panaceia contra informações indesejadas. A impressão estrutural na topologia dos pesos persiste e pode ser ativada. Isso exige novas abordagens de alinhamento de IA, que considerem esse efeito e busquem criar LLMs mais seguros e confiáveis.