Хеббовское обучение без backprop выродилось в k-means и проиграло по всем фронтам

Эксперимент, о котором рассказал автор на Habr, укладывается в одну строку: скрытый слой нейросети обучали без backprop, только локальными хеббовскими правилами, а сравнивали с градиентным спуском по трём осям. Счёт 0:3. Backprop не обогнали ни по точности, ни в режиме с малым числом размеченных примеров, ни по забыванию при смене задач. Само правило в итоге свелось к обычному k-means.

Материал в источнике опубликован как анонс с кратким пересказом, поэтому конкретные датасеты и таблицы с метриками остаются в оригинальной статье. Но логика эксперимента и его выводы понятны и без них.

Что пробовали и зачем

Хеббовское обучение опирается на старую идею: связь между нейронами усиливается, если они активны одновременно. Главное свойство такого правила в том, что оно локально. Нейрону не нужен глобальный сигнал ошибки, который backprop протаскивает через всю сеть. Для нейроморфного железа и биологической достоверности это привлекательно. Поэтому периодически возникает вопрос, можно ли получить хорошие признаки без градиентов.

Автор поставил задачу прагматично: заменить обучение скрытого слоя локальными правилами и посмотреть, где такая сеть выигрывает. Ставки были на три сценария, где у backprop есть слабые места: мало меток, катастрофическое забывание и общая точность.

Где всё ломалось

По описанию автора, проблем хватило на отдельную историю.

• Сеть убивала собственные нейроны. Это классическая болезнь соревновательного обучения: если нейрон перестаёт выигрывать, он не получает обновлений и остаётся мёртвым. Ёмкость слоя сжимается, хотя формально нейронов столько же.
• Эволюция правил обманывала саму себя. Когда форму правила обновления ищут эволюционным поиском, фитнес-функция превращается в цель, и алгоритм находит лазейки, а не полезные признаки. Метрика растёт, качество представления нет.
• Ошибки самого автора. Он прямо пишет, что ошибался, и это самая ценная часть разбора: негативные результаты в этой области публикуют редко.

Почему k-means был неизбежен

Финал выглядит закономерным. Если оставить в хеббовском правиле конкуренцию между нейронами (побеждает один, как в winner-take-all) и нормировку весов, обновление сводится к сдвигу вектора победителя в сторону входа: w ← w + η(x − w). Это формула онлайн k-means. Каждый нейрон становится центроидом кластера входов.

Такой слой честно находит структуру в данных без меток, но структура кластеров не обязана совпадать с границами классов. Backprop оптимизирует признаки под конкретную задачу, k-means под геометрию входа. Отсюда и проигрыш по точности. Ожидание, что кластерные признаки выручат при малом числе меток, тоже не оправдалось. Не выиграла такая схема и по забыванию.

Практический вывод

Для тех, кто экспериментирует с альтернативами backprop, из этой истории следуют конкретные шаги.

• Сначала сравнивайте новое правило с k-means и PCA. Если результат совпадает, изобретать нечего.
• Следите за долей активных нейронов во время обучения. Мёртвые единицы видны сразу, если их считать.
• При эволюционном поиске правил проверяйте найденное на задачах, не участвовавших в отборе.
• Держите сильный baseline с backprop на тех же данных и том же бюджете вычислений.

Из этого не следует, что локальное обучение бесперспективно. Но простое хеббовское правило на одном скрытом слое, судя по этому опыту, остаётся хорошей реализацией кластеризации и ничем большим.