Aprendizado hebbiano sem backprop degenerou em k-means e perdeu em todas as frentes

O experimento relatado pelo autor no Habr cabe em uma linha: a camada oculta de uma rede neural foi treinada sem backprop, apenas com regras hebbianas locais, e comparada ao gradiente descendente em três eixos. Placar: 0:3. O backprop não foi superado em precisão, no regime com poucos exemplos rotulados nem no esquecimento ao trocar de tarefa. A própria regra, no fim, se reduziu ao k-means comum.

O material na fonte foi publicado como anúncio, com um resumo curto, então os datasets específicos e as tabelas de métricas ficam no artigo original. Mesmo sem eles, a lógica do experimento e as conclusões são claras.

O que foi testado e por quê

O aprendizado hebbiano parte de uma ideia antiga: a conexão entre neurônios se fortalece quando eles estão ativos ao mesmo tempo. A principal propriedade dessa regra é ser local. O neurônio não precisa de um sinal global de erro, que o backprop propaga por toda a rede. Para hardware neuromórfico e para a plausibilidade biológica, isso é atraente. Por isso, de tempos em tempos, volta a pergunta: dá para obter boas features sem gradientes?

O autor definiu o objetivo de forma pragmática: substituir o treinamento da camada oculta por regras locais e ver onde essa rede se sai melhor. A aposta estava em três cenários em que o backprop tem pontos fracos: poucos rótulos, esquecimento catastrófico e precisão geral.

Onde tudo quebrou

Segundo o autor, os problemas dariam uma história à parte.

• A rede matava os próprios neurônios. É uma doença clássica do aprendizado competitivo: se um neurônio deixa de vencer, ele não recebe atualizações e permanece morto. A capacidade da camada encolhe, embora formalmente o número de neurônios seja o mesmo.
• A evolução de regras enganava a si mesma. Quando a forma da regra de atualização é buscada por busca evolutiva, a função de fitness vira o objetivo, e o algoritmo encontra brechas em vez de features úteis. A métrica sobe, mas a qualidade da representação não.
• Os erros do próprio autor. Ele escreve abertamente que errou, e essa é a parte mais valiosa da análise: resultados negativos nessa área raramente são publicados.

Por que o k-means era inevitável

O desfecho parece natural. Se a regra hebbiana mantém a competição entre neurônios (vence um só, como no winner-take-all) e a normalização dos pesos, a atualização se reduz a deslocar o vetor vencedor na direção da entrada: w ← w + η(x − w). Essa é a fórmula do k-means online. Cada neurônio se torna o centroide de um cluster de entradas.

Uma camada assim encontra, de fato, estrutura nos dados sem rótulos, mas a estrutura dos clusters não precisa coincidir com as fronteiras das classes. O backprop otimiza as features para a tarefa específica; o k-means, para a geometria da entrada. Daí a derrota em precisão. A expectativa de que features baseadas em clusters ajudariam com poucos rótulos também não se confirmou. Esse esquema também não ganhou em esquecimento.

Conclusão prática

Para quem experimenta alternativas ao backprop, a história aponta passos concretos.

• Primeiro, compare a nova regra com k-means e PCA. Se o resultado for o mesmo, não há nada a inventar.
• Acompanhe a fração de neurônios ativos durante o treinamento. As unidades mortas aparecem de imediato, se forem contadas.
• Na busca evolutiva de regras, valide o que foi encontrado em tarefas que não participaram da seleção.
• Mantenha um baseline forte com backprop nos mesmos dados e com o mesmo orçamento de computação.

Isso não significa que o aprendizado local não tenha futuro. Mas a regra hebbiana simples em uma única camada oculta, a julgar por esse experimento, continua sendo uma boa implementação de clusterização e nada além disso.