MetaNCA учит нейросети самоорганизоваться без обратного распространения ошибки

Исследователи в июле 2026 года опубликовали на arXiv работу о MetaNCA — фреймворке Meta Neural Cellular Automata, который обучает локальные правила самоорганизовывать веса искусственных нейронных сетей. После мета-обучения система генерирует веса для MLP, CNN и ResNet без единого шага backpropagation и обобщается на архитектуры, которые не видела во время тренировки.

Откуда взялась идея

Самоорганизация — фундаментальное свойство живых систем. Биологические нейроны обмениваются сигналами через синапсы и на протяжении всей жизни организма адаптируют связи, опираясь исключительно на локальную информацию. Никакого глобального сигнала ошибки — только местные взаимодействия, из которых возникает интеллект.

Нейронные клеточные автоматы (NCA) уже показали, что способны моделировать морфогенез через простые локальные правила обновления: они устойчивы к многократным итерациям и к случайным возмущениям. Авторы MetaNCA взяли эту парадигму и применили её не к развитию биологической формы, а к генерации весов искусственных нейросетей.

Как работает MetaNCA

Фреймворк состоит из двух компонентов. Первый — сеть правил (rule network), которая итеративно обновляет параметры второго компонента — целевой сети (task network). Взаимодействие происходит только локально: каждый вес обновляется на основе информации от соседних весов и скрытых состояний, без доступа к глобальной структуре сети.

Для реализации этой идеи авторы разработали новую архитектуру Weight Transformer. Она применяет линейное внимание (linear attention), чтобы агрегировать сигналы от соседей в вычислительном графе. После завершения мета-обучения rule network способна генерировать веса для совершенно новых архитектур — без дополнительного градиентного спуска.

Ключевые факты:

• Архитектура rule network: Weight Transformer с линейным вниманием
• Тестовые архитектуры: MLP, CNN, ResNet
• Датасеты: MNIST и CIFAR-100
• Максимальный масштаб: сети до 2 миллионов параметров
• Обобщение: MetaNCA работает на архитектурах, не входивших в мета-тренировочный набор

Что умеет система после обучения?

После завершения мета-обучения rule network не требует backpropagation для генерации весов новых сетей. Это принципиальное отличие от стандартного подхода: обычно для каждой новой архитектуры нужен полный цикл обучения с градиентным спуском. MetaNCA заменяет этот процесс итеративным применением локальных правил.

«Самоорганизация — это свойство жизни, порождённое коллективным

поведением отдельных компонентов, действующих на основе локальной информации», — формулируют авторы ключевую мотивацию.

Особенно примечателен результат с обобщением: MetaNCA, обученный на наборе из разных архитектур, успешно генерирует веса для конфигураций, которых не было в тренировочном наборе. Авторы также показывают, что разнообразие архитектур в фазе мета-обучения напрямую усиливает эту способность к переносу.

Что это значит

MetaNCA предлагает альтернативный путь к обучению нейросетей — через локальную самоорганизацию вместо глобального градиента. Пока система протестирована на относительно небольших сетях и стандартных датасетах, но принцип архитектурного обобщения без переобучения — потенциально важный шаг к более гибким и адаптивным нейронным сетям.

*Meta признана экстремистской организацией и запрещена в РФ.