LoCA une Sentinel-1 e Sentinel-2 e vence 68,8% das comparações com o SatCLIP

Codificadores de coordenadas como SatCLIP e GeoCLIP transformam o par (latitude, longitude) em um vetor, que depois é usado para prever incêndios, estimar o clima, mapear o uso do solo e contar a biodiversidade. Eles funcionavam bem, mas até agora ninguém explicou direito por quê, nem como acrescentar a eles uma segunda fonte de dados. Um grupo de autores liderado por Panagiotis Koromilas propôs uma teoria e um esquema funcional, o LoCA (Location Contrastive Alignment). Em 17 tarefas, o modelo venceu 68,8% de todas as comparações par a par com cinco concorrentes modernos.

Teorema das duas dimensões

O principal resultado teórico é incômodo para toda a área. Qualquer codificador de coordenadas lipschitziano produz uma saída com dimensão intrínseca de no máximo 2, independentemente da arquitetura e da largura da banda de frequências. Afinal, a entrada é bidimensional. Disso decorre que, nessa formulação, a perda contrastiva fica estritamente acima do seu ótimo assintótico e não chega ao mínimo.

Empiricamente, o quadro é parecido. Se o codificador de imagens e o codificador de coordenadas são treinados juntos, do zero, a covariância dos embeddings colapsa para um posto muito baixo. Então por que os modelos do tipo SatCLIP funcionam? Os autores explicam: o codificador de coordenadas aprende em cima de um codificador de imagens congelado. Este atua como regularizador da covariância e define um alvo de posto alto, sobre o qual o codificador de coordenadas "se ajusta".

Dois sensores, dois requisitos para o alvo

Com uma única modalidade, esse truque é conhecido. Com várias, a situação é mais complicada: um mesmo ponto no mapa precisa receber vários descritores ao mesmo tempo, e eles podem se contradizer. Os autores formularam duas condições para o regularizador:

• Co-alinhamento entre modalidades. Adaptadores não conseguem conciliar codificadores pré-treinados de forma independente, por isso os alvos precisam estar alinhados de antemão.
• Alto posto efetivo. O codificador de coordenadas herda o espectro do seu alvo, e um alvo pobre gera embeddings pobres.

Como o LoCA funciona

O esquema tem duas etapas.

• Etapa 1. Os codificadores de Sentinel-1 (radar) e Sentinel-2 (óptico) são treinados em conjunto por aprendizado contrastivo. O resultado é um alvo multimodal co-alinhado e de posto alto.
• Etapa 2. Os codificadores de imagens são congelados. O codificador de coordenadas e o codificador de metadados tabulares são treinados como adaptadores de projeção, com aprendizado contrastivo multi-view.

Na inferência, não são necessárias imagens; basta ter as coordenadas. Isso importa na prática: não é preciso ter cenas de satélite recentes, e o embedding é calculado a partir de um ponto no mapa.

Contra quem e com que resultado

O LoCA foi comparado com cinco codificadores modernos:

• SatCLIP;
• GeoCLIP;
• GT-Loc;
• AlphaEarth;
• Copernicus-FM.

Os testes incluíram 17 tarefas de seis áreas: land cover, previsão de incêndios florestais, clima, geofísica, indicadores socioeconômicos e biodiversidade. Resultados:

• o LoCA tem o maior número de vitórias por tarefa;
• ele ficou no top-2 em 11 das 17 tarefas;
• é o único modelo que superou cada um dos demais na maioria das tarefas;
• nas comparações par a par por tarefa, venceu 68,8%;
• seus embeddings usam 62% das dimensões, enquanto no SatCLIP esse índice é de 35%.

O último número está de acordo com a teoria. Quanto maior o posto efetivo do alvo, mais completamente o embedding ocupa o espaço. Menos dimensões ficam ociosas.

Onde isso pode ser útil

Geoembeddings costumam ser incorporados a modelos tabulares e de séries temporais como features adicionais. Para equipes que preveem incêndios, produtividade agrícola ou indicadores econômicos por região, é uma forma de obter uma "noção do terreno" sem armazenar e processar imagens. O radar do Sentinel-1 enxerga através das nuvens e mostra a umidade e a estrutura da superfície, enquanto o sensor óptico do Sentinel-2 fornece o espectro da vegetação. Combinados em um mesmo ponto, os dois geram uma feature mais rica do que qualquer um dos sensores isoladamente.

A conclusão prática para desenvolvedores é esta: ao adicionar modalidades, é preciso acompanhar em primeiro lugar o posto e a consistência do alvo, e não o tamanho do codificador de coordenadas. Código e pesos pré-treinados foram prometidos no repositório github.com/eleannavali/LoCA, e uma verificação independente em tarefas próprias mostrará em que medida os 68,8% se mantêm fora do conjunto de 17 testes dos autores.