LoCA объединил Sentinel-1 и Sentinel-2 и выиграл 68,8% сравнений у SatCLIP

Кодировщики координат вроде SatCLIP и GeoCLIP превращают пару (широта, долгота) в вектор, который затем используют для прогноза пожаров, оценки климата, картирования землепользования и подсчёта биоразнообразия. Работали они хорошо, но до сих пор никто толком не объяснил почему и как добавить к ним второй источник данных. Группа авторов во главе с Panagiotis Koromilas предложила теорию и рабочую схему LoCA (Location Contrastive Alignment). На 17 задачах модель выиграла 68,8% всех попарных сравнений с пятью современными конкурентами.

Теорема о двух измерениях

Основной теоретический результат звучит неудобно для всей области. Любой липшицев кодировщик координат выдаёт выход с внутренней размерностью не выше 2, независимо от архитектуры и ширины полосы частот. Вход ведь двумерный. Из этого следует, что контрастивный лосс в такой постановке строго превышает свой асимптотический оптимум и до минимума не доходит.

Эмпирически картина похожа. Если обучать энкодер снимков и энкодер координат вместе с нуля, ковариация эмбеддингов схлопывается до очень низкого ранга. Почему же тогда SatCLIP-подобные модели работают? Авторы объясняют это так: энкодер координат учится на замороженный энкодер снимков. Тот играет роль регуляризатора ковариации и задаёт высокоранговую цель, на которую энкодер координат «складывается».

Два сенсора — два требования к цели

С одной модальностью этот трюк известен. С несколькими всё сложнее: один и тот же пункт на карте должен получить сразу несколько дескрипторов, которые могут друг другу противоречить. Авторы сформулировали два условия к регуляризатору:

• Со-выравнивание между модальностями. Адаптеры не умеют согласовать независимо предобученные энкодеры, поэтому цели должны быть выровнены заранее.
• Высокий эффективный ранг. Энкодер координат наследует спектр своей цели, и бедная цель даст бедные эмбеддинги.

Как устроен LoCA

Схема двухэтапная.

• Этап 1. Энкодеры Sentinel-1 (радар) и Sentinel-2 (оптика) обучаются совместно с помощью контрастивного обучения. На выходе получается со-выровненная многомодальная цель с высоким рангом.
• Этап 2. Энкодеры снимков замораживаются. Энкодер координат и энкодер табличных метаданных обучаются как проекционные адаптеры с multi-view контрастивным обучением.

При инференсе снимки не нужны, достаточно координат. Это важно для практики: свежие спутниковые сцены не требуются, а эмбеддинг считается по точке на карте.

Против кого и с каким результатом

LoCA сравнивали с пятью современными энкодерами:

• SatCLIP;
• GeoCLIP;
• GT-Loc;
• AlphaEarth;
• Copernicus-FM.

Тесты включали 17 задач из шести областей: land cover, прогноз лесных пожаров, климат, геофизика, социально-экономические показатели и биоразнообразие. Итоги:

• у LoCA больше всего побед по задачам;
• в топ-2 она оказалась на 11 задачах из 17;
• это единственная модель, которая обошла каждую из остальных на большинстве задач;
• в попарных сравнениях по задачам она выиграла 68,8%;
• её эмбеддинги используют 62% размерностей, у SatCLIP этот показатель 35%.

Последняя цифра согласуется с теорией. Если эффективный ранг цели выше, то и эмбеддинг использует пространство полнее. Меньше размерностей простаивает.

Где это пригодится

Геоэмбеддинги обычно подмешивают в табличные и временные модели как дополнительные признаки. Для команд, которые прогнозируют пожары, урожайность или экономические индикаторы по регионам, это способ получить «ощущение местности» без хранения и обработки снимков. Радар Sentinel-1 видит сквозь облака и показывает влажность и структуру поверхности, оптика Sentinel-2 даёт спектр растительности. Их объединение в одной точке даёт более богатый признак, чем любой из сенсоров по отдельности.

Практический вывод для разработчиков такой: при добавлении модальностей нужно в первую очередь следить за рангом и согласованностью цели, а не за размером энкодера координат. Код и предобученные веса обещаны в репозитории github.com/eleannavali/LoCA, и независимая проверка на собственных задачах покажет, насколько 68,8% переносятся за пределы авторского набора из 17 тестов.