Размер маски предсказывает качество сегментации точнее числа примеров

Модель аккуратно обводит дверь автомобиля, а царапину на ней не замечает. Средний AP при этом выглядит терпимо: крупные детали встречаются часто, распознаются хорошо и маскируют провал там, ради чего систему вообще создавали.

Именно такую ловушку обнаружило сравнение Mask R-CNN и YOLO11s-seg на 1812 обезличенных производственных фотографиях повреждённых автомобилей. В наборе было 29 классов и почти 25 тысяч размеченных объектов — от кузовных деталей до вмятин, трещин и коррозии. Главный практический вывод оказался простым: прежде чем менять архитектуру или заказывать ещё разметку, посчитайте, сколько пикселей занимает нужный объект после уменьшения изображения до входного размера сети.

Средняя метрика скрывает мелкие дефекты

У исходного набора тяжёлый дисбаланс: самый частый класс встречался более 3200 раз, самый редкий — менее 80. Однако число примеров почти не объясняло качество отдельных классов: корреляция с AP составила около −0,23. Зато связь с логарифмом медианной площади маски оказалась заметной — от 0,68 до 0,74.

Причина видна без сложной математики. После уменьшения фотографии до 512×384 тонкая царапина превращается в полоску шириной в несколько пикселей. Около 41% дефектов занимают менее восьми пикселей. Обычная бинарная кросс-энтропия усредняет ошибку по области, поэтому сигнал от крошечной маски теряется на фоне тысяч остальных пикселей.

Отсюда и неприятный продуктовый эффект. Можно удвоить число случайных фотографий, но получить в основном новые двери и бамперы, которые модель уже умеет находить. В эксперименте рост выборки с 100 до 200 снимков добавил 0,096 mIoU, а с 200 до 400 — только 0,007. Размечать всё подряд оказалось гораздо менее выгодно, чем целенаправленно собирать редкие и мелкие дефекты.

Что действительно изменило результат

Самой дешёвой полезной правкой стала замена функции потерь. Комбинация BCE и Dice повысила общий AP с 0,190 до 0,200. Для мелких объектов прирост составил 14,7%, для классов дефектов — 15,8%. На трещинах AP впервые стал устойчиво выше нуля. Архитектура и скорость инференса при этом не изменились.

Focal Loss без Dice, напротив, снизила AP до 0,177. В этой задаче важнее оказалось учитывать долю пересечения относительно площади маски, чем просто усиливать вклад трудных пикселей.

Критичным был и шаг обучения. Для Mask R-CNN с AdamW значение 1e-4 дало mIoU 0,252, 5e-4 — 0,125, а 1e-3 — всего 0,029. Слишком крупные обновления быстро стирали полезные признаки, полученные при предварительном обучении на COCO. Обучение с нуля на 400 снимках фактически не заработало: mIoU остановился около 0,001.

Короткие прогоны тоже требуют осторожности. Две эпохи сохранили порядок удачных настроек, но сильно занизили потолок качества. После 15 эпох тестовый mIoU вырос примерно с 0,286 до 0,373, а AP — с 0,165 до 0,190. Такой протокол годится для быстрого отбора конфигураций, но не для публикации итоговой метрики.

Архитектура не спасает невидимый объект

При едином коде оценки YOLO11s-seg получила AP 0,193 против 0,189 у Mask R-CNN. На мелких объектах разрыв был заметнее: 0,180 против 0,127. Но YOLO работала с входом 640×640, поэтому каждый дефект оставался немного крупнее.

Инженерная разница существеннее разницы в качестве. У YOLO 10,1 млн параметров против 46 млн, файл весов занимает 19,6 МБ против 184 МБ, а обработка одного снимка требует примерно 3,5–9,5 мс вместо 61–112 мс. Для периферийного устройства это сильный аргумент. Но средний AP именно дефектов остался почти одинаково низким: 0,023 против 0,020. Смена модели не вернула информацию, потерянную при уменьшении кадра.

Есть и ограничения. Это один основной производственный набор, одно семейство моделей и ограниченный бюджет прогонов. Сравнение разрешений ещё не доказывает универсальный «закон детектируемости», а часть экспериментов на втором наборе CarDD не завершена. Различия в несколько сотых без доверительных интервалов могут оказаться шумом.

Практический порядок действий такой: сначала измерить размеры объектов после преобразования входа, затем выбрать разрешение камеры и сети, настроить порог под цену пропуска и ложного срабатывания, проверить небольшой шаг обучения и подходящую функцию потерь. И только после этого собирать дополнительные данные — не любые, а те, где представлены действительно мелкие и редкие случаи.