Метод FDSML на фракталах поднял Recall@1 на Stanford Cars с 56,2% до 78,4%

Группа исследователей из Национального института передовой промышленной науки и технологий Японии (AIST) и Института науки и инженерии Университета Васэда предложила способ предобучать модели компьютерного зрения вообще без реальных изображений и при этом получать более качественные эмбеддинги. Метод называется FDSML (Formula-Driven Supervised Metric Learning). На ResNet-50 он поднимает Recall@1 на Stanford Cars с 56,2% до 78,4%, а на Stanford Online Products — с 65,6% до 74,0% по сравнению с классическим предобучением на формулах (FDSL).

Почему классификация фракталов упирается в потолок

FDSL — это подход, где картинки и разметка генерируются из математических правил. Самый известный пример — FractalDB: фракталы строятся с помощью IFS (системы итерируемых функций — набора сжимающих аффинных преобразований), а класс определяется набором параметров. Такая синтетика не требует ручной разметки, свободна от лицензионных и приватных проблем и не наследует социальные смещения реальных датасетов.

Слабое место в том, что обучение сводится к классификации. Непрерывное пространство параметров дробится на дискретные классы, и информация о том, какие фракталы похожи друг на друга сильнее, пропадает. По мнению авторов, модель в таком случае переобучается на локальных низкоуровневых геометрических текстурах. Отсюда и симптомы: представления отличаются от тех, что получаются на реальных данных, модели чувствительны к размытию, а в некоторых целевых доменах проигрывают обучению с нуля. Особенно заметно это в поиске по изображениям, где важна геометрия пространства признаков, а не границы классов.

Как устроен FDSML

Метод состоит из двух частей. Первая — датасет FineFractalDB. В исходном FractalDB-1k на класс приходится 1000 экземпляров, но получены они всего из 25 параметрических возмущений с отражениями и вариациями рендеринга, поэтому внутри класса мало разнообразия. Кроме того, преобразования не всегда были строго сжимающими, и часть картинок «схлопывалась» в малоинформативные пятна. В FineFractalDB число независимых возмущений довели до 1000 на класс, ввели жёсткое ограничение на сжимаемость преобразований и добавили отбраковку: образцы, где занято менее 0,05% пикселей, выбрасываются.

Вторая часть — Parameter-Aware Triplet (PA-Triplet) Loss. Это стандартный триплетный лосс с якорем, позитивом и негативом, но роли распределяются не по меткам классов, а по расстоянию в пространстве параметров IFS. Для каждого изображения считается компактный дескриптор — взвешенное математическое ожидание аффинных параметров. Из двух кандидатов позитивом становится тот, чей дескриптор ближе к якорю. Авторы подчёркивают, что расстояние используется только порядково: оно решает, кто ближе, и не претендует на роль перцептивной метрики.

Дискретные классы всё же остаются в роли грубого фильтра. В предварительных опытах выяснилось, что при слишком большой дистанции между параметрами фракталы так сильно различаются, что сравнение становится тривиальным и ничему не учит. Поэтому кандидатов ограничивают одним из четырёх режимов: без ограничений, один из того же класса и один из другого, оба из класса якоря либо оба из других классов. Финальное решение о позитиве и негативе в любом случае принимает расстояние между параметрами.

Что показали эксперименты и где ограничения

Помимо поиска по изображениям, FDSML сохраняет конкурентоспособность на downstream-классификации и повышает устойчивость к ряду искажений. Для ResNet-50 улучшение робастности подтверждается, а вот для ViT авторы прямо говорят об архитектурно-зависимых компромиссах: однозначного выигрыша там нет. Также описаны качественные отличия в картах активаций и внимания, хотя в доступном тексте их подробностей нет.

Остаются и открытые вопросы. Приведённые цифры относятся к сравнению с FDSL-предобучением, а не с моделями, обученными на реальных данных вроде ImageNet. Метод проверен на фрактальной синтетике, и неизвестно, насколько приём с порядковым сигналом из параметров перенесётся на другие формульные генераторы. Для практиков вывод такой: если синтетическое предобучение нужно для задач поиска и ранжирования, непрерывные параметры генерации дают более богатый сигнал, чем метки классов. Страница проекта доступна по адресу shineiarakawa.github.io/fdsml.