Nullify apaga conhecimento de LLMs sem retreinamento, com vetores no espaço nulo

Uma equipe de pesquisadores publicou no arXiv o preprint do Nullify, um método de desaprendizado para grandes modelos de linguagem que dispensa até mesmo um único passo de retreinamento. Em vez de alterar os pesos, ele soma vetores de steering às ativações durante a inferência e afasta as representações internas de consultas privadas das respostas memorizadas. Segundo os resultados em dois benchmarks, TOFU e MUSE, o Nullify não fica atrás dos métodos consolidados em qualidade de esquecimento, e a utilidade do modelo permanece quase sem perdas. O preprint saiu em 9 de outubro de 2026, na seção cs.LG.

O problema: esquecer custa caro, e a utilidade é frágil

No pré-treinamento, as LLMs inevitavelmente absorvem dados pessoais, textos fechados e outras informações sensíveis. O desaprendizado (unlearning) deve apagar esse conhecimento de forma seletiva, para que o modelo não o revele quando for questionado. Retreinar do zero sem os dados problemáticos sai caro demais, e por isso, na prática, usa-se o retreinamento com modificação dos pesos. Essa abordagem tem dois defeitos conhecidos. Ela exige computação e dados. E ela quebra com facilidade capacidades vizinhas: basta o modelo "esquecer" um autor para começar a se confundir em perguntas relacionadas. Os autores do Nullify apontam diretamente o equilíbrio entre qualidade do esquecimento e utilidade como o principal gargalo dos métodos existentes.

Como funciona o Nullify

A ideia se baseia em activation steering. Na inferência, um vetor escolhido a dedo é somado às ativações ocultas. Ele desloca a representação de uma consulta ligada a informações privadas, de modo que o modelo não chegue à resposta memorizada. Os pesos em si permanecem intocados.

O detalhe central é a restrição de null-space. O vetor é construído para que as ativações das consultas que o modelo deve continuar tratando normalmente (retained queries) praticamente não mudem, segundo a descrição dos autores. Em outras palavras, o deslocamento é direcionado a um subespaço em que as consultas "permitidas" quase não o sentem. Trata-se de uma tentativa de resolver o principal problema de qualquer steering: a intervenção nas ativações costuma afetar tudo, e não apenas o conhecimento-alvo.

O que mostraram o TOFU e o MUSE

O TOFU é um benchmark com perfis sintéticos de autores fictícios, no qual se sabe que o modelo só poderia ter aprendido determinadas informações a partir de um conjunto de dados específico. O MUSE avalia o desaprendizado em corpora reais: notícias e livros. Juntos, eles oferecem um panorama de cenários tanto controlados quanto próximos da prática.

Resultados do resumo:

• Tipo de método: training-free, sem atualização de pesos.
• Mecanismo: vetores de steering aplicados na inferência.
• Proteção da utilidade: restrição de null-space para consultas retained.
• Qualidade do esquecimento: no nível dos métodos baseline consolidados ou acima.
• Preservação da utility: próxima de zero perda.
• Formato de adoção: camada plug-and-play sobre um modelo pronto.

O resumo não traz números concretos, então a magnitude da vantagem sobre as abordagens baseline terá de ser verificada nas tabelas da versão completa do artigo.

Onde aplicar e qual é a pegadinha

Para equipes que mantêm LLMs em produção e recebem pedidos de remoção de dados, a abordagem parece conveniente. Não é preciso rodar retreinamento em GPU a cada pedido nem guardar várias versões dos pesos, e o conjunto de vetores pode ser ligado e desligado como uma configuração. Isso é especialmente relevante em demandas jurídicas como o direito ao esquecimento, nas quais a resposta precisa ser rápida.

Porém, há perguntas que o resumo não responde e que vale verificar antes da adoção. Primeiro, o conhecimento continua nos pesos. Trata-se de um redirecionamento da resposta, e não de uma remoção física, e quem tem acesso ao modelo pode retirar a intervenção. Com pesos abertos, a proteção é, na prática, apenas nominal. Segundo, não está clara a resistência a paráfrases, a perguntas em várias etapas e a ataques direcionados de extração de dados. Terceiro, é preciso observar como o número de vetores cresce com múltiplos pedidos de remoção e se os efeitos colaterais se acumulam.

O balanço é este: o Nullify merece ser visto como uma camada rápida de proteção para implantações fechadas via API, e não como substituto do desaprendizado de verdade. Se os resultados forem confirmados por verificações independentes, o método ocupará um nicho importante entre o retreinamento caro e os filtros grosseiros na saída.