Remote Sensing Foundation Models : comment adapter l'IA aux données satellitaires

Une étude publiée sur arXiv sous forme de chapitre de synthèse examine l'application des foundation models à l'observation de la Terre par satellites et capteurs aéroportés.

Que sont les Remote Sensing Foundation Models

Les Remote Sensing Foundation Models (RSFM) sont de grands modèles entraînés sur des archives d'images satellitaires et aériennes. Contrairement aux modèles de vision par ordinateur traditionnels, qui apprennent sur des photos de chats et de visages, les RSFM regardent la planète : villes, champs, forêts, nuages, océans.

Prenons un exemple : vous voulez prévoir la récolte de blé dans une région précise. Plutôt que de développer un modèle de zéro pour cette seule tâche, vous prenez un RSFM déjà entraîné sur des images satellitaires et vous l'adaptez à votre tâche. Le modèle fonctionne parce qu'il sait déjà lire les données satellitaires.

Pourquoi un foundation model généraliste ne fonctionne pas

Le problème, c'est que les données satellitaires diffèrent physiquement des photographies ordinaires.

• Capteurs différents, longueurs d'onde différentes (infrarouge, rouge, bleu, ondes courtes)
• Distorsions atmosphériques : nuages, brume et aérosols modifient ce que voit le satellite
• Faible résolution spatiale (10-100 mètres par pixel, sans rapport avec une photo de smartphone)
• Contraintes temporelles : le satellite survole un lieu une fois tous les quelques jours, il faut donc saisir le moment
• Physique de la mesure : la réflectance spectrale obéit aux lois de la physique, pas à des motifs arbitraires des données d'entraînement

Il n'existe pas de modèle universel qui fonctionne aussi bien sur toutes les tâches d'observation de la Terre. Les benchmarks sont contradictoires. Le modèle A est meilleur en prévision agricole, le modèle B en classification des types de bâtiments. La raison : chaque RSFM a été conçu pour son propre jeu de données, et le transfert de connaissances nécessite un ajustement fin.

Exemples : quand l'adaptation est cruciale

Prévision des algues nuisibles. Un réseau de neurones apprend à prédire les proliférations d'algues toxiques dans les lacs et les mers. Les seules caractéristiques spectrales ne suffisent pas : il faut tenir compte d'un masque spectral qui indique où chercher la floraison dans l'image. Cela suppose un masquage informé par la physique (physics-informed) : le modèle doit comprendre non seulement les motifs, mais aussi la physique qui explique pourquoi les algues apparaissent à cet endroit.

Choix des stations de surveillance. Autre tâche : où installer une nouvelle station météorologique pour observer l'environnement ? Un modèle adapté, entraîné par apprentissage par renforcement, sait choisir les emplacements qui apportent le maximum d'informations sur le climat et l'état de la nature.

Et ensuite

La prochaine génération de RSFM devra être évaluée non seulement sur les métriques de précision standard (accuracy, F1), mais aussi sur :

• L'adaptation spécifique à la modalité : le modèle doit bien se transférer à de nouveaux types de capteurs et de longueurs d'onde
• La plausibilité physique : les représentations du réseau de neurones doivent correspondre à la physique réelle des mesures satellitaires, et pas seulement aux motifs présents dans les données

Cela signifie qu'à l'avenir, les RSFM seront conçus en tenant compte non seulement de l'apprentissage automatique, mais aussi du domaine : physique, astronomie, climatologie.

Ce que cela signifie

Dans les domaines spécialisés complexes (observation de la Terre, médecine, simulations scientifiques), les foundation models ne sont pas une panacée. Un grand modèle entraîné sur des milliards de paramètres ne suffit pas. Il faut l'adapter à la physique de la tâche, aux particularités des données et aux contraintes réelles. La prochaine étape de l'IA, ce n'est pas simplement plus de paramètres, mais plus de sens physique.