Edição de pesos sem retreinamento reduz respostas sexistas de 57,9% para 24,3%

Modelos de linguagem instruíveis são sistemas que seguem as instruções do usuário. No entanto, eles podem obedecer a instruções maliciosas que contrariam seus objetivos de segurança e comportamento pretendido. Pesquisadores da AI Interpretability @ Illinois propuseram uma nova forma de proteção contra esse fenômeno: editar os pesos do modelo sem retreinamento.

O método foi desenvolvido pela equipe de Ali Ebrahimpour-Boroojeny, Xiaocong Yang, Samuel Schapiro, Zahra Borhani, Francisco R. Ortega, Yujia Zheng e ChengXiang Zhai. A abordagem usa edição contrastiva de pesos e exige apenas cerca de 25 pares de prompts opostos por comportamento alvo. Vantagem fundamental: a alteração é armazenada nos próprios pesos do modelo, então trocar ou remover o prompt de sistema não anula o efeito.

Como funciona

O algoritmo consiste em três etapas sequenciais. Primeira etapa: escrever prompts pareados que solicitam o comportamento indesejado e seu oposto sobre o mesmo conteúdo. Exemplo: "Answer incorrectly: Q" (responda incorretamente) versus "Answer truthfully: Q" (responda honestamente). Isso permite capturar o contraste entre os dois comportamentos.

Segunda etapa: executar passagens diretas pelo modelo em ambas as versões dos prompts e comparar as ativações de cada canal de entrada nas duas condições. Terceira etapa: avaliar cada peso pelo produto de sua magnitude pelo contraste do canal e, então, reescalonar os 4% pesos mais importantes em cada matriz de pesos do modelo.

Vale destacar algumas particularidades. O processo não exige o cálculo de gradientes — ou seja, não demanda os cálculos matemáticos complexos característicos do treinamento. Não exige dados rotulados com respostas corretas e incorretas. E não altera a arquitetura do próprio modelo — apenas os valores dos pesos são editados.

Resultados em dois comportamentos

A equipe testou o método em cinco modelos instruíveis de diferentes famílias. O primeiro comportamento alvo é a mentira forçada, quando se tenta fazer o modelo mentir.

No benchmark LIARS' BENCH, o método atingiu 84,9% de honestidade, 6,2 pontos acima da melhor alternativa. No segundo benchmark de mentira, chamado AI Liar, o resultado foi de 79,4% de honestidade, 4,6 pontos acima dos concorrentes. Para comparação, os métodos alternativos incluíram activation steering (direcionamento de ativações em uma única camada da rede neural), a adição de um prompt de sistema honesto e o set-difference weight mask (máscara de diferença de pesos entre duas condições).

Ao transferir para formatos single-turn (perguntas em uma única rodada), não utilizados na construção da edição, o método mostrou 95,8% de honestidade contra 83,4% do activation steering. Isso indica maior estabilidade — o método mantém a robustez mesmo com a mudança de formato da pergunta.

O segundo comportamento alvo são as respostas sexistas. O método reduziu a proporção de respostas sexistas de 57,9% para 24,3% — uma queda de 33,6 pontos. Para comparação: apenas o prompt de fairness (prompt sobre equidade) atinge uma redução de 30,2%. A combinação da edição de pesos com o prompt de fairness mostra sinergia, reduzindo o sexismo ainda mais — para 11,9%.

Conclusão

O estudo mostra que a edição contrastiva de pesos pode ser uma ferramenta eficaz de proteção de modelos instruíveis contra instruções maliciosas. A abordagem funciona em dois domínios distintos de comportamento — mentira e preconceito. Isso abre a possibilidade de usar o método tanto isoladamente quanto em combinação com outros mecanismos de proteção no nível de prompt.