UASPL: новая методика самообучения нейросетей учитывает неопределённость предсказаний

Исследователи в июле 2026 года описали в статье на arXiv метод UASPL (Uncertainty-Aware Self-Paced Learning) — модификацию self-paced learning, которая учитывает не только величину ошибки модели, но и надёжность её предсказаний, используя evidential neural networks и Subjective Logic framework.

В чём проблема classic self-paced learning

Self-paced learning (SPL) — популярный подход к обучению нейросетей, имитирующий процесс обучения человека: сеть сначала «изучает» простые примеры, а затем постепенно переходит к сложным, ориентируясь на значение loss-функции на каждом образце. Логика простая: чем меньше ошибка модели на примере, тем «проще» он считается, и такие примеры включаются в обучение раньше.

Авторы UASPL указывают на слабое место этой логики: маленький loss не всегда означает, что предсказание модели действительно надёжно. Модель может давать заниженную ошибку на примере, который на самом деле сложен или содержит шум, — и тогда алгоритм ошибочно посчитает его «лёгким» и обучится на нём раньше, чем следовало бы, потенциально закрепив ошибочный паттерн.

Как устроен UASPL

Чтобы решить эту проблему, авторы предложили встроить в отбор примеров оценку неопределённости предсказания через evidential neural networks — архитектуру, которая наряду с самим предсказанием выдаёт оценку уверенности в нём. Эта оценка формализована в рамках Subjective Logic framework — математического аппарата для описания недостоверных суждений, где каждое утверждение сопровождается степенью доверия к нему.

Такой подход — часть более широкого направления evidential deep learning: вместо того чтобы выдавать одну цифру вероятности класса, как в обычной softmax-классификации, сеть учится оценивать ещё и «уверенность в своей уверенности». На практике это позволяет отличить ситуацию, когда модель действительно хорошо понимает пример, от ситуации, когда низкий loss получился случайно — например, из-за шума в разметке или нетипичного распределения признаков в конкретном образце.

• В основе метода — общая loss-функция, применимая к разным вариантам self-paced learning, а не только к одной конкретной реализации
• Loss-функция одновременно решает две задачи: оценивает неопределённость и задаёт предпочтение при выборе очередных обучающих примеров
• Такая связка обеспечивает интерпретируемость: видно, почему конкретный пример был выбран или отложен
• Метод протестирован на нескольких датасетах в задачах классификации
• Исходный код метода выложен в открытый доступ на GitHub (репозиторий treelife979/UASPL)

Что показали эксперименты

По итогам тестов на нескольких датасетах UASPL обошёл другие методы self-paced learning сразу по трём направлениям: точности классификации, интерпретируемости процесса отбора образцов и generality — способности сохранять эффективность при переносе на разные задачи и датасеты, а не только на ту конфигурацию, для которой метод был настроен изначально.

Что это значит

Для команд, которые обучают модели на реальных, неидеально размеченных данных, UASPL предлагает более осторожный принцип curriculum learning: не «сначала простое», а «сначала надёжное». Это может снизить риск того, что модель на ранних этапах обучения закрепит ошибочные паттерны из-за шумных, но формально «лёгких» примеров — что особенно актуально для задач, где данные собираются автоматически и не проходят ручную проверку, например, при разметке медицинских изображений, модерации пользовательского контента или сборе сенсорных данных из промышленных систем.

То, что метод в статье описан как «общая loss-функция», расширяемая до разных вариантов self-paced learning, важно с практической стороны: команды могут не переписывать весь пайплайн обучения с нуля, а адаптировать существующую SPL-схему, добавив в неё оценку неопределённости. Открытый исходный код на GitHub снижает порог входа для проверки метода на собственных датасетах — это особенно ценно для узкоспециализированных исследовательских тем, где готовых промышленных реализаций пока не существует.