LoCA combine Sentinel-1 et Sentinel-2 et remporte 68,8 % des comparaisons face à SatCLIP

Les encodeurs de coordonnées comme SatCLIP et GeoCLIP convertissent une paire (latitude, longitude) en un vecteur, ensuite utilisé pour prévoir les incendies, estimer le climat, cartographier l'occupation des sols ou dénombrer la biodiversité. Ils fonctionnent bien, mais personne n'avait jusqu'ici expliqué clairement pourquoi, ni comment leur adjoindre une seconde source de données. Un groupe d'auteurs dirigé par Panagiotis Koromilas propose une théorie et un schéma opérationnel, LoCA (Location Contrastive Alignment). Sur 17 tâches, le modèle a remporté 68,8 % de l'ensemble des comparaisons par paires face à cinq concurrents récents.

Le théorème des deux dimensions

Le principal résultat théorique est dérangeant pour tout le domaine. Tout encodeur de coordonnées lipschitzien produit une sortie dont la dimension intrinsèque ne dépasse pas 2, quelle que soit l'architecture et la largeur de bande de fréquences. L'entrée, après tout, est bidimensionnelle. Il en découle que, dans ce cadre, la perte contrastive reste strictement au-dessus de son optimum asymptotique et n'atteint pas le minimum.

L'empirisme va dans le même sens. Si l'on entraîne ensemble, depuis zéro, un encodeur d'images et un encodeur de coordonnées, la covariance des embeddings s'effondre vers un rang très faible. Pourquoi, alors, les modèles de type SatCLIP fonctionnent-ils ? Les auteurs l'expliquent ainsi : l'encodeur de coordonnées apprend à partir d'un encodeur d'images gelé. Celui-ci joue le rôle de régularisateur de covariance et fixe une cible de rang élevé, sur laquelle l'encodeur de coordonnées « se replie ».

Deux capteurs, deux exigences pour la cible

Avec une seule modalité, l'astuce est connue. Avec plusieurs, tout se complique : un même point de la carte doit recevoir plusieurs descripteurs, qui peuvent se contredire. Les auteurs formulent deux conditions pour le régularisateur :

• Co-alignement entre les modalités. Les adaptateurs ne savent pas concilier des encodeurs préentraînés indépendamment, les cibles doivent donc être alignées au préalable.
• Rang effectif élevé. L'encodeur de coordonnées hérite du spectre de sa cible, et une cible pauvre donnera des embeddings pauvres.

Comment fonctionne LoCA

Le schéma comporte deux étapes.

• Étape 1. Les encodeurs Sentinel-1 (radar) et Sentinel-2 (optique) sont entraînés conjointement par apprentissage contrastif. On obtient en sortie une cible multimodale co-alignée, de rang élevé.
• Étape 2. Les encodeurs d'images sont gelés. L'encodeur de coordonnées et l'encodeur de métadonnées tabulaires sont entraînés comme des adaptateurs de projection, avec un apprentissage contrastif multi-view.

À l'inférence, les images ne sont pas nécessaires : les coordonnées suffisent. C'est important en pratique : il n'est pas besoin de scènes satellites récentes, et l'embedding se calcule pour un point de la carte.

Contre qui et avec quel résultat

LoCA a été comparé à cinq encodeurs récents :

• SatCLIP ;
• GeoCLIP ;
• GT-Loc ;
• AlphaEarth ;
• Copernicus-FM.

Les tests couvrent 17 tâches réparties dans six domaines : land cover, prévision des feux de forêt, climat, géophysique, indicateurs socio-économiques et biodiversité. Résultats :

• LoCA totalise le plus grand nombre de victoires par tâche ;
• elle se classe dans le top 2 sur 11 tâches sur 17 ;
• c'est le seul modèle qui devance chacun des autres sur la majorité des tâches ;
• dans les comparaisons par paires, elle l'emporte dans 68,8 % des cas ;
• ses embeddings exploitent 62 % des dimensions, contre 35 % pour SatCLIP.

Ce dernier chiffre est cohérent avec la théorie. Plus le rang effectif de la cible est élevé, plus l'embedding occupe l'espace pleinement. Moins de dimensions restent inutilisées.

À quoi cela peut servir

Les géoembeddings sont généralement injectés dans des modèles tabulaires et temporels comme variables supplémentaires. Pour les équipes qui prévoient les incendies, les rendements agricoles ou les indicateurs économiques par région, c'est un moyen d'obtenir un « sens du lieu » sans stocker ni traiter d'images. Le radar Sentinel-1 voit à travers les nuages et renseigne sur l'humidité et la structure de la surface, tandis que l'optique de Sentinel-2 fournit le spectre de la végétation. Leur combinaison en un même point donne une variable plus riche que chacun des capteurs pris isolément.

La leçon pratique pour les développeurs : lorsqu'on ajoute des modalités, il faut d'abord surveiller le rang et la cohérence de la cible, plutôt que la taille de l'encodeur de coordonnées. Le code et les poids préentraînés sont annoncés dans le dépôt github.com/eleannavali/LoCA, et une vérification indépendante sur des tâches propres montrera dans quelle mesure les 68,8 % se transposent au-delà du jeu de 17 tests des auteurs.