Сети Колмогорова — Арнольда достигли уровня MLP на 40% меньшем числе сэмплов

Исследователи, выложившие на arXiv препринт 2610.10627, проверили, сколько данных нужно сетям Колмогорова — Арнольда (KAN) в обучении с подкреплением. Ответ: на 40% меньше, чем многослойному перцептрону (MLP), если целью является сопоставимое качество. В процессе обучения относительный выигрыш KAN доходил до 50%. Эксперименты шли на датасете Feynman и бенчмарке Gymnasium, а шум в наградах преимущество не съел.

Почему сэмплы — главная валюта RL

Глубокое обучение с подкреплением давно обходит классические методы управления. Но в реальных системах оно упирается в цену опыта. Каждый сэмпл — это минуты или часы работы робота, износ механики, занятый стенд, риск поломки. Симуляторы дешевле, но разрыв между симуляцией и реальностью всё равно приходится закрывать живыми данными. Поэтому метод, который выходит на нужный результат за меньшее число взаимодействий со средой, ценнее прибавки в пиковой награде.

KAN предложили в 2024 году. Идея опирается на теорему Колмогорова — Арнольда: вместо фиксированных функций активации в узлах сеть учит одномерные функции на рёбрах, обычно в виде сплайнов. Раньше для таких сетей заявляли два плюса: меньше параметров на ту же задачу и лучшая интерпретируемость, особенно там, где нужно восстановить физическую зависимость. Новая работа добавляет третью ось — расход данных.

Что и как мерили

Авторы сравнивали KAN и MLP по кривым обучения. Первая площадка — Feynman, набор задач на восстановление физических соотношений. Вторая — Gymnasium, стандартный набор сред для RL. Отдельно проверили устойчивость к шуму: награды искажали на разных уровнях и смотрели, сохраняется ли разрыв.

Ключевые результаты из аннотации:

• сопоставимое качество достигается на 40% меньшем числе сэмплов;
• относительное улучшение по ходу обучения доходит до 50%;
• выигрыш сохраняется при разных уровнях шума в наградах;
• бенчмарки: Feynman и Gymnasium;
• код открыт, репозиторий DerKevinRiehl/neurips26_kan_training на GitHub (название намекает на подачу на NeurIPS 2026).

Что пока неясно

Аннотация не раскрывает, какие именно алгоритмы RL и какие среды вошли в выборку, а без этого сложно оценить, насколько результат переносится на другие задачи. Фраза «до 50%» описывает пик на отдельных участках обучения, а не средний прирост. Это препринт первой версии, рецензирования он не проходил.

Есть и вычислительный нюанс. KAN со сплайнами на рёбрах, как правило, дороже MLP по времени на один шаг обучения. Экономия сэмплов не равна экономии часов на GPU, и в работе стоит смотреть, как авторы это учитывают. Наконец, задачи Feynman построены на гладких физических зависимостях, то есть на территории, где KAN исторически сильны. Для обучения из пикселей или сильно разрывных динамик перенос выигрыша нужно проверять отдельно.

Что делать командам на практике

Тем, у кого опыт стоит дорого, например в робототехнике, управлении оборудованием и промышленных процессах, имеет смысл прогнать KAN как замену MLP в политике или критике на собственной задаче. Код открыт, так что сравнение займёт дни, а не месяцы.

Считать нужно в деньгах: стоимость одного сэмпла против стоимости вычислений на обучение. Если сэмпл с реального стенда дороже GPU-часов на порядки, даже медленный KAN окупится. Если среда симулируется почти бесплатно, преимущество сомнительно. Дополнительный бонус — интерпретируемость: выученные сплайны можно визуализировать и проверить на соответствие физике системы, что полезно при сертификации управляющих алгоритмов. К LLM результат напрямую не относится, это история про компактные управляющие модели.