L’art et la science des réglages des modèles du climat

Conclusion

Depuis trop longtemps, le travail des modélisateurs du climat semble consister à s’assurer que leur modèle peut reproduire le réchauffement du 20 ième siècle, dans le but de conclure avec un haut niveau de confiance à propos du ‘dangereux changement climatique anthropique’, doxa de l’UNFCCC/IPCC.

Le ‘monstre d’incertitude caché’ derrière la sur-compensation des modèles climatiques, sans parler du manque de vérification formelle du modèle climatique, n’inspire pas confiance envers l’entreprise de modélisation du climat. Bravo aux auteurs de cet article pour leur tentative de redéfinir le travail des modélisateurs du climat afin d’inclure :

• La documentation des méthodes et choix faits dans le tuning des modèles climatiques

• Des méthodes plus objectives de tuning de modèle

• Des explorations de l’incertitude structurelle des modèles

Mais plus profondément, après avoir lu cet article concernant la dissimulation du monstre d’incertitude qui se poursuit à propos des modèles climatiques, sans parler de leurs incertitudes structurelles :

Comment est-il possible de parler de conclusions hautement probables à propos du réchauffement du 20ième siècle, de valeur d’ECS élevées et de projections alarmistes du réchauffement du 20ième siècle ?

Développement

Les problèmes soulevés par Hourdin, Mauritsen et al. sont sérieux et importants.

Voici de quoi espérer assister à un changement culturel dans la communauté de la modélisation du climat, changement propre à accroître la documentation et la transparence entourant le tuning de modèle climatique et à entreprendre l’exploration des incertitudes structurelles des modèles climatiques.

Source

Nous examinons la logique et la diversité des méthodes d’ajustement, aspect fondamental de la modélisation du climat qui devrait être documenté plus systématiquement et pris en compte dans une analyse multi-modèles. – Hourdin et al.

Il y a deux ans, j’ai fait un article sur le Tuning des Modèles du Climat, extraits :

Il ne fait pas de doute que l’aspect le moins documenté des modèles du climat est la façon dont ils sont calibrés, ou ‘ajustés’. J’ai soulevé un certain nombre de préoccupations dans mon article Uncertainty Monster, ainsi que dans des blogs antérieurs.

L’existence de cet article révèle l’incapacité des groupes de modélisation à documenter correctement leur réglage/calibration et à convenablement faire face aux problèmes liés à l’introduction de biais subjectifs dans les modèles lors du processus de tuning.

Réfléchissons-y une minute. Tout modèle du climat s’arrange pour reproduire avec exactitude le réchauffement global du 20ième siècle, en dépit du fait que la sensibilité climatique au CO2 de ces modèles varie d’un facteur deux. Comment cela est-il fait ? Le tuning des modèles a-t-il quelque chose à y voir ?

Hé bien, en 2014 le World Climate Research Programme Working Group on Coupled Modelling a organisé un atelier sur le tuning du modèle climatique. L’article qui suit provient de cet atelier.

Hourdin, F., T. Mauritsen, A. Gettelman, J. Golaz, V. Balaji, Q. Duan, D. Folini, D. Ji, D. Klocke, Y. Qian, F. Rauser, C. Rio, L. Tomassini, M. Watanabe, and D. Williamson, 2016: The art and science of climate model tuning. Bull. Amer. Meteor. Soc. doi:10.1175/BAMS-D-15-00135.1, in press. [ link to full manuscript].

Résumé. Nous examinons la logique et la diversité des méthodes de tuning, aspect fondamental de la modélisation du climat qui devrait être documenté plus systématiquement et pris en compte dans une analyse multi-modèles. Le processus d’estimation des paramètres visant un ensemble choisi d’observations est un aspect essentiel de la modélisation numérique. Dans le milieu de la modélisation numérique on appelle généralement ce processus ‘ réglage’ (tuning). Dans les modèles du climat, la variété et la complexité des processus physiques mis en jeu, et leurs interactions à travers une large gamme d’échelles spatiales et temporelles, doivent être synthétisées dans une série de sous-modèles approximatifs. La plupart de ces sous-modèles dépendent de paramètres incertains. Le tuning consiste à ajuster les valeurs de ces paramètres pour amener la solution dans son ensemble à s’aligner avec les aspects du climat observé. Le tuning est un aspect essentiel de la modélisation climatique avec ses propres problèmes scientifiques, ce qui n’est probablement pas assez connu en dehors de la communauté des développeurs de modèles.

L’optimisation des modèles du climat soulève d’importantes questions sur la mesure dans laquelle les méthodes de tuning à priori contraignent les résultats des modèles dans des directions imprévues affectant notre confiance dans les prévisions climatiques. Nous présentons ici la définition et la logique sous-tendant le tuning des modèles, analysons les aspects méthodologiques spécifiques, et examinons la diversité des approches de tuning utilisées dans les modèles de climat actuels. Nous discutons également des défis et opportunités de l’application de méthodes dites ‘objectives’ dans la mise au point du modèle climatique. Nous discutons de la mesure dans laquelle les méthodologies de tuning peuvent affecter les résultats fondamentaux des modèles du climat, comme la sensibilité climatique. L’article se conclut par une série de recommandations afin de rendre le processus de mise au point de la modélisation du climat plus transparent.

Si dans votre vie vous ne deviez lire qu’un seul article sur la modélisation du climat, c’est celui-ci. Tout en étant un article vraiment important, il est très bien écrit et lisible par un lecteur non spécialiste.

J’hésite à commencer à citer des extraits [de l’article] car tout l’ensemble est pertinent. Voici quelques aperçus sélectionnés :

La mise au point des modèles climatiques est un processus complexe qui présente des analogies avec la recherche de l’harmonie en musique. Produire une bonne symphonie ou un concert de rock nécessite d’abord une bonne composition et de bons musiciens qui travaillent individuellement leur partition. Puis, en jouant ensemble, les instruments doivent être accordés, ce qui est un réglage bien défini des fréquences que l’on peut effectuer avec l’aide de systèmes électroniques. Mais on atteint l’harmonie de l’orchestre en adoptant un tempo commun de même que par des combinaisons subjectives d’instruments, de niveaux de volume ou d’interprétations de musiciens, ce qui dépendra des intentions du chef d’orchestre ou des musiciens.

En réunissant différents éléments d’un modèle pour simuler le climat global, il y a aussi beaucoup de problèmes scientifiques et techniques, et on peut définir le tuning lui-même comme un processus objectif d’estimation de paramètres pour s’adapter à un jeu prédéfini d’observations, prenant en compte une certaine incertitude, processus qu’on peut concevoir. Cependant, en raison de la complexité du système climatique et des choix et approximations faits dans chaque sous-modèle, et à cause des priorités spécifiées dans chaque pôle climatique, on trouve aussi de la subjectivité dans le tuning des modèles climatiques (Tebaldi and Knutti 2007) de même qu’un savoir faire substantiel d’un nombre limité de personnes possédant une vaste expérience d’un modèle particulier.

Pourquoi un tel manque de transparence? Peut-être parce que le tuning est souvent vu comme une partie inévitable mais grossière de la modélisation climatique [considéré] plus comme conception que comme science et comme un bricolage qui ne mérite pas de faire l’objet d’un enregistrement dans la littérature scientifique. Il y a peut-être aussi quelque préoccupation car expliquer que les modèles sont tunés peut renforcer les arguments de ceux qui revendiquent de questionner la validité des projections du changement climatique. Le tuning peut être considéré comme une façon grossière de compenser les erreurs des modèles.

Bien que le tuning permette de réduire efficacement l’écart entre le modèle et les observations sélectionnées, il risque également de masquer des problèmes fondamentaux et le besoin d’amélioration du dit modèle. Il est clair que nombre d’erreurs sont intrinsèques aux modèles et proviennent des approximations de paramètres clés et de leurs interactions.

De plus, l’introduction d’une nouvelle paramétrisation ou amélioration diminue souvent la compétence du modèle sur certaines mesures. La version préexistante d’un modèle est généralement optimisée à la fois par le tuning de paramètres incertains et la sélection de combinaisons de modèles donnant des résultats acceptables, induisant probablement des erreurs de compensation (over-tuning). Améliorer une partie du modèle peut alors empirer le soin apporté aux observations, même s’il est mieux formulé. Plus le tuning précédent a été poussé, plus il sera difficile de démontrer un impact positif de l’amélioration du modèle et d’obtenir un nouveau réglage acceptable. Dans ce sens, le tuning (en cas d’over-tuning) peux même ralentir le processus d’amélioration du modèle en empêchant l’incorporation d’idées neuves et originales.

L’augmentation d’à peu près un degré Kelvin de la température globale moyenne depuis le début de l’ère industrielle, désormais réchauffement du 20 ième siècle, est une mise à l’épreuve de facto pour les modèles climatiques. Cependant, comme test de qualité du modèle il n’est pas sans défaut car le résultat désiré est connu de ceux qui le développent et devient par conséquent un objectif du développement.

Il existe un large éventail de méthodes pour améliorer la ressemblance du modèle avec le réchauffement du 20 ième siècle, allant de choisir simplement de ne plus modifier la valeur d’un paramètre sensible lorsque la représentativité est déjà bonne pour un modèle donné, ou de sélectionner des paramétrisations physiques qui améliorent la représentativité, jusqu’à clairement ajuster le forçage ou la rétroaction, tous deux incertains et dépendant de façon critique de paramètres ajustables. La sélection de modèle peut, par exemple, consister à choisir d’inclure ou d’exclure des processus nouveaux comme l’interaction entre nuages et aérosols pour mieux représenter le réchauffement historique, ou choisir de travailler ou remplacer une paramétrisation suspectée de causer un forçage irréaliste (trop haut ou trop bas) de la sensibilité climatique.

La question de savoir si le réchauffement du 20ième siècle doit être considéré comme un objectif de développement de modèle ou une propriété émergente polarise la communauté de la modélisation du climat, avec 35 pour cent des modélisateurs déclarant que le réchauffement du 20 ième siècle devait être considéré comme de très important à décisif, alors que 30 pour cent ne le prennent pas du tout en compte lors du développement. Certains voient les données de température comme des données d’évaluation indépendantes à ne pas utiliser, alors que d’autres les voient comme une observation pertinente contraignant le développement du modèle. De même les opinions divergent sur la question de savoir quelles mesures, du forçage et de l’ECS (Sensibilité Climatique à l’Équilibre), sont légitimes pour améliorer la correspondance du modèle avec le réchauffement observé. La question du développement en vue du réchauffement du 20 ième siècle est par conséquent le sujet de vigoureux débats au sein de la communauté.

Le tuning affectant le comportement d’un modèle du climat, et la confiance que l’on peut accorder à l’utilisation particulière de ce modèle, il est important de documenter la part de tuning dans le processus de développement du modèle. Nous recommandons que pour le prochain exercice CMIP6, les groupes de modélisation fournissent un document spécifique sur leur stratégie et objectifs de tuning, qui serait référencé lors de l’accès données. Nous recommandons de distinguer trois niveaux dans le processus de tuning : tuning de paramétrisation individuelle, tuning de composant et tuning de système climatique. Au niveau du composant, l’accent doit être mis sur le poids relatif donné aux indicateurs de performance climatique par rapport à ceux inhérents au processus, et sur les conflits possibles avec le niveau de tuning de paramétrisation.

Pour le tuning du système climatique, on doit insister particulièrement sur la façon dont l’équilibre énergétique a été obtenu dans le système complet : a-t-il été fait par ajustement indépendant des divers composants, ou un réglage final a-t-il été nécessaire ? On doit aussi décrire la mesure dans laquelle on a ou non utilisé la tendance du 20 ième siècle pour l’ajustement. Les comparaisons avec les observations, l’ajustement du processus de forçage ou de rétroaction devraient être notés. A chaque étape, on doit mettre en lumière toute occasion où une équipe a du se battre avec un paramètre ou le pousser aux limites pour résoudre une déficience particulière du modèle. Cette information peut être valable scientifiquement comme une trace de l’incertitude d’une formulation de modèle.

L’utilisation systématique de méthodes objectives au niveau du processus de façon à estimer la plage de valeurs paramétriques acceptable pour le tuning au niveau supérieur est probablement une stratégie à encourager et peut aider à rendre le processus de tuning du modèle plus transparent et traçable. Il est légitime de se demander si le tuning doit être effectué de préférence au niveau du processus, et l’équilibre radiatif global et autres métriques climatiques utilisées pour une évaluation à postériori de la performance du modèle. Il serait bon d’évaluer notre degré actuel de compréhension du système climatique et d’estimer le niveau d’incertitude de l’ECS. Restreindre l’ajustement au niveau du processus peut être également une bonne façon d’éviter les erreurs structurelles de compensation du modèle dans la procédure de tuning.

Cependant, en raison de la nature multi-applications des modèles climatiques, des problèmes de cohérence au sein du modèle et de ses composants, des limitations des procédures d’études métriques (problèmes d’échantillonnage, manque de contraintes énergétiques), et aussi tout simplement parce que le système climatique lui-même n’est pas observé avec suffisamment de fidélité pour contraindre pleinement le modèle, un réglage à postériori restera probablement nécessaire pour quelque temps. Ceci est spécialement important pour les contraintes de l’énergie globale qui sont un aspect fort et fondamental des modèles du climat global.

La formalisation de la question du tuning répond à un souci important : il est essentiel d’explorer l’incertitude provenant à la fois d’erreurs structurelles du modèle, en favorisant l’existence de dizaines de modèles, et d’incertitudes de paramétrisation en n’abusant pas du tuning. La réduction du nombre de modèles ou de l’abus du tuning, particulièrement si un consensus implicite ou explicite se fait jour dans la communauté sur une combinaison particulière de métriques, réduirait artificiellement la dispersion des simulations climatiques. Cela ne réduirait pas l’incertitude, mais la masquerait seulement.

Réflexions de JC

C’est l’article que j’attendais depuis que j’ai écrit Uncertainty Monster

Rappelez-vous mes premiers posts demandant que les modèles soient vérifiés et validés :

• The culture of building confidence in climate models

• Climate model verification and validation

• Verification, validation and uncertainty quantification in scientific computing

Les recommandations de Hourin, Mauritsen et al. pour que le CMIP6 documente les décisions et méthodes environnant le tuning de modèles sont un élément essentiel de la validation des modèles climatiques.