Cartographie des données utilisées : Météorologie et Océanographie
L’exploitation de la donnée d’observation est essentielle pour surveiller le climat, prévoir les conditions météorologiques, étudier les changements environnementaux et alimenter les applications d’aide à la décision.
Voici un aperçu des principaux types de données utilisés dans ces domaines, leurs formats et les techniques informatiques populaires à venir.
Les principaux types de données
1. Relevés météorologiques
Mesures de température, pression atmosphérique, humidité, vitesse et direction des vents et courants océaniques, salinité, hauteur d’eau, etc.. Ces données sont traditionnellement collectées à partir de stations météorologiques au sol, de ballons-sondes, de bouées et d’aéronefs. Ces mesures sont précises et directement exploitables. Cependant, elles ne sont ni denses, ni réparties de façon homogène sur le globe. Par exemple, elles sont insuffisantes pour alimenter à elles seules les modèles de prévisions. Cependant, ces mesures sont très utiles pour calibrer et valider les modèles. Elles servent de référence pour déterminer les tendances climatiques à long terme.
2. Observations satellitaires
Les satellites météorologiques sont principalement dotés de radiomètres et recueillent des données sur l’état de l’atmosphère, des océans et mers ou des terres et banquises. L’avantage de ce type de données réside dans la haute densité des mesures et leur couverture géographique. A contrario, elles sont très volumineuses et dépendent de la robustesse des instruments de mesure embarqués…
Ces données sont propres à chaque constellation de satellites. Elles parviennent généralement par trames récoltées par les stations Segment sol. Elles sont ensuite transférées dans les centres de traitements type data center afin d’être calibrées et traitées par des algorithmes spécifiques avant de pouvoir être utilisées par les applications de prévision, d’alerte, etc.
Il existe plusieurs niveaux de traitement. Du quasi temps-réel pour répondre à une certaine forme d’urgence (ex: balise Argos), au niveau 4 ou plus. Les corrections apportées par la dynamique des modèles numériques relevés et les variabilités régionales permettent une donnée plus qualitative. Les données de dernier niveau sont très utiles à la climatologie, aux études environnementales (optimisation d’implantation de fermes piscicoles) et à la rectification des instruments de mesure de façon pérenne.
3.Radar et télédétection
Les radars météorologiques détectent les phénomènes tels que les précipitations, les orages, en mesurant la réflexion des ondes radio émises. Les équipements type LIDAR mesurent des paramètres atmosphériques comme la composition chimique, la concentration des polluants, l’épaisseur de la couche d’ozone, etc.
Ce type de données est à mi-chemin entre les relevés et données satellitaires. Elle est plus dense et couvre une zone plus vaste que les relevés classiques. Cependant, elle nécessite parfois des traitements avant d’être exploitable.
Formats les plus utilisés
Les organismes de prévision et d’observation des phénomènes atmosphériques et géophysiques utilisent une variété de formats de données pour stocker, échanger et analyser les informations recueillies. Voici quelques-uns des formats les plus couramment utilisés :
1. GRIB (GRIdded Binary)
Largement utilisé en particulier pour stocker les prévisions numériques du temps produites par les modèles de prévision. Il permet de compresser les données spatiales et temporelles en une seule structure de fichier binaire. Ce qui facilite le transfert et la manipulation des données.
2. NetCDF (Network Common Data Form)
Très répandu, ce format permet de stocker des ensembles de données multidimensionnelles. Il prend en charge divers types de données, y compris les données de modèle de prévision, les observations météorologiques, les données océanographiques et climatiques.
3. HDF (Hierarchical Data Format)
Le format HDF est un format polyvalent pour stocker et organiser de grands ensembles de données scientifiques. Il est souvent utilisé pour les types de données géophysiques en raison de sa capacité à gérer des structures complexes.
4. ASCII
Ce format est parfois utilisé pour les données issues de rapports météorologiques historiques. Mais aussi pour les données stationnaires et les données de surface.
5. JSON (JavaScript Object Notation)
Avec l’essor des services web et des API, le format JSON est devenu populaire pour échanger des données météorologiques en temps réel entre différents systèmes et applications.
6. GeoTIFF (Georeferenced Tagged Image File Format)
Ce format est couramment utilisé pour stocker des images géoréférencées, comme des cartes, des données satellites et de télédétection, avec des informations spatiales intégrées.
Les bases de données les plus utilisées dans le domaine de la météorologie et de l'observation de la Terre
Par leur diversité fonctionnelle, les différentes bases de données permettent aux organisations de choisir la solution la mieux adaptée à leurs besoins spécifiques en matière de stockage, de gestion et d’analyse des données météorologiques et géophysiques.
1. BdB relationnelles : MySQL, PostgreSQL, Oracle
Adaptées aux données dont la structure est bien définie et les relations entre les entités sont importantes.
2. BdB spatiales : PostGIS, Oracle Spatial, Microsoft SQL Server Spatial
Conçues pour stocker et interroger des données géospatiales
Adaptées pour la gestion des informations de données géoréférencées telles que les images satellites, les données radar et de télédétection.
3. BdB NoSQL : MongoDB, Cassandra, Couchbase
Pour stocker des données non structurées ou semi-structurées. Elle est aussi destinée aux ensembles de données météorologiques volumineux et complexes qui sont mal adaptés aux modèles relationnels traditionnels.
4. BdB temporelles – times-series : TimescaleDB, InfluxDB, Prometheus, Graphite
Pour stocker et analyser des données temporelles, et donc adaptées à la gestion de séries chronologiques telles que les données de mesure météorologique en continu.
5. BdB Cloud : Amazon DynamoDB, Google Cloud Bigtable, Microsoft Azure Cosmos DB
Elles offrent une extensibilité, une disponibilité et une gestion des données à grande échelle. Cela peut être avantageux pour les organisations qui génèrent d’énormes volumes de données météorologiques.
6. BdB géospatiales distribuées : GeoMesa, GeoWave
Conçues pour stocker et interroger de grands ensembles de données géospatiales réparties sur des clusters de serveurs.
Assimilation de données et Intelligence Artificielle
L’assimilation de données regroupe des techniques mathématiques qui combinent toutes ces données de façon optimale afin d’alimenter un modèle numérique prévisionnel. C’est une discipline analogue avec le Machine Learning (sous domaine de l’IA).
Les techniques de ML peuvent apporter des solutions aux limitations de l’AdD comme une meilleure correction du biais sur les résidus pour réduire l’erreur du modèle ou un filtrage des observations plus efficaces.
What’s Next?
Les récents progrès en matière de Big Data et du ML (par la popularisation des libraires Pytorch, Tensorflow, Keras, etc.) ouvrent de nouvelles perspectives pour améliorer la modélisation et la prévision des phénomènes physiques complexes …
Beneficis partenaire de Datapy
Stéphane HOSEMANS est DSI de transition avec plus d’une trentaine d’années d’expérience. Il est également diplômé du CPA de Toulouse Business School.
Azure Data Factory, AWS et GCP : Comparaison des métadonnées
Après avoir étudié les différentes solutions ETL Azure Data Factory, AWS et GCP, nous allons comparer leur gestion des métadonnées.La gestion des métadonnées..
Azure Data Factory, AWS et GCP : Comparaison des ETL
Dans l’article précédent, nous avons comparé Azure Data Factory, AWS Glue et GCP Dataflow. Aujourd’hui, nous allons faire un focus sur les ETL qu’ils utilisent.