C3L quebra o ciclo de deriva das explicações em continual learning: 5 benchmarks, 20+ baselines

O esquecimento catastrófico em continual learning costuma ser medido pela queda de acurácia nas tarefas antigas. Os pesquisadores da Universidade de Tel Aviv Yehonatan Elisha, Oren Barkan e Noam Koenigstein afirmam que isso mostra apenas parte do problema. Um modelo pode manter as métricas anteriores e, ainda assim, deixar de olhar para o bico de uma ave e passar a olhar para um galho ou para o fundo da imagem. Eles chamaram esse fenômeno de deriva das explicações (explanation drift) e propuseram o método C3L, testado em cinco benchmarks contra mais de 20 abordagens de referência.

Um ciclo que se retroalimenta

Os métodos de continual learning que levam explicações em conta funcionam assim: pega-se o mapa de saliência (saliency map) do modelo treinado na tarefa anterior. Depois, no treinamento da nova tarefa, exige-se que a rede não se afaste muito desse mapa. Parece razoável, mas os autores apontam uma falha estrutural: o alvo da regularização é calculado a partir do próprio modelo. Se, na primeira tarefa, a atenção ao fundo vazou para o mapa, ela é congelada e vira a referência para a tarefa seguinte. A cada passo, o erro é copiado e amplificado. Os pesquisadores chamam isso de ciclo de deriva autorreferencial (self-referential drift loop).

O problema é sutil. A acurácia não cai, e a explicação quebrada não aparece em lugar nenhum. Para diagnóstico médico, controle industrial ou qualquer sistema em que importe saber por que o modelo deu determinada resposta, o cenário é perigoso.

Conceitos no lugar de pixels

O C3L (Concept-Consistent Continual Learning) quebra o ciclo ao buscar os alvos de regularização fora do modelo. Em vez dos mapas de saliência da própria rede, o método usa conceitos semânticos consistentes para toda a classe. Exemplos do artigo: "bico curvo" e "padrão listrado". Os conceitos são encontrados offline e não dependem de como o modelo mudou ao longo do treinamento. Isso traz duas propriedades:

• independência do alvo em relação à deriva do modelo: a referência não se degrada, por mais tarefas que a rede percorra;
• consistência semântica entre instâncias: o mesmo conceito vale para todos os objetos da classe, e não de um jeito diferente para cada um.

Um detalhe importante: o C3L não exige conceitos anotados por pessoas. A busca pelos conceitos e a sua associação espacial a regiões da imagem são totalmente automatizadas. Isso remove a principal objeção prática aos métodos baseados em conceitos, nos quais o vocabulário de características costuma ser montado à mão.

Efeito de deslocamento

Os autores descrevem um mecanismo colateral que eles mesmos consideram um dos principais resultados. O método é combinado com a conservação aproximada de relevância no LRP (layer-wise relevance propagation). A relevância atribuída a uma previsão específica tem soma limitada. As regiões dos conceitos e o fundo dividem o mesmo "orçamento". Se a rede é forçada a concentrar alta relevância nas regiões dos conceitos, sobra menos para o fundo. As correlações espúrias são suprimidas sem uma penalidade específica contra elas, e é isso que se chama de crowding-out effect.

A conclusão prática: não é preciso saber de antemão quais características espúrias vão aparecer. Basta definir o alvo positivo correto.

O que foi medido

Os autores declaram resultados de estado da arte (state-of-the-art) em cinco eixos ao mesmo tempo:

• acurácia em tarefas de aprendizado sequencial;
• grau de esquecimento;
• qualidade das explicações;
• atenuação de correlações espúrias;
• robustez a dados fora da distribuição (out-of-distribution).

A comparação foi feita em cinco benchmarks, com mais de 20 métodos de referência. Os ganhos numéricos específicos devem ser consultados no próprio artigo (arXiv 2610.33877), mas o conjunto de métricas mostra a intenção: comparar não só "quanto o modelo lembra", mas também "por quais razões ele decide".

Onde isso pode ser útil

Equipes que fazem fine-tuning de modelos de visão sobre um fluxo de dados novos ganham uma técnica verificável. Exemplos são inspeção em linhas de produção, imagens médicas e monitoramento. Um teste simples: depois de cada nova rodada de fine-tuning, comparar não só a acurácia, mas também a distribuição de relevância entre as regiões do objeto e o fundo. Se o fundo ganha peso, é sinal de deriva das explicações, mesmo com as métricas estáveis.

As limitações também são claras. A abordagem depende da qualidade da busca automática de conceitos e da sua associação à imagem. O trabalho é descrito em tarefas de classificação de imagens, e a transferência para outras modalidades terá de ser verificada separadamente. Ainda assim, a ideia de levar a referência da regularização para fora do modelo pode ser aplicada além do continual learning.