氷河合宿その３a：ECMWF提供のコードをPCに登録：Ubuntu編

お次はERA5を自動ダウンロードするために必要な情報を用意したPCに登録する作業です。

まずはこちらのサイトにいってください。

https://cds.climate.copernicus.eu/how-to-api

ログインしていない状態では、黄色の部分に<PERSONAL-ACCESS-TOKEN>と書かれているはずです。ログインしてからもう一度確認すると、

なにやら長い文字と数字が表示されているはずです。これは各自固有の情報なので、他人に教えないようにしましょう。

※ここまではOSによらず※

Ubuntuの人はホームフォルダを開きます。

右上の三本線マークをクリックして、「隠しファイルを表示する□」にチェックを入れると、「.cdsapirc」というファイルが出てくるので、これをsublime textで開き、そこに先ほどのページに表示されていた二行の情報

url: https://cds.climate.copernicus.eu/api

key: XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX

をコピペして保存します。もしそんなファイルがない、という人は、とにかくsumlime textを立ち上げ、この二行をコピペし、ホームへ「.cdsapirc」という名前で保存します。

隠しファイルが表示される状態で、このファイルが見えているかどうかを確認できたらOK。

で、次の黒いところに書かれている、

「pip install 'cdsapi>=0.7.2'」

でcdsapiのライブラリをインストールします。ターミナルを立ち上げ、上の「　」内をコピペしすれば行けるはず。これで準備完了。

次回はいよいよ試しのダウンロードをやってみることにしましょう。
※その前に、３bとして「Windows編」を用意します。しばしお待ちを。

氷河合宿その２：PCの用意

 ERA5データのダウンロードには時間がかかるため、専用のPCを用意することをお勧めします。一応Windowsでのやり方についての説明（関連サイトへのリンク）はつけますが、LinuxPCを推奨しています。

Ubuntuの場合
研究室などで使っていないPCにUbuntuをインストールしましょう。「ubuntu インストール」で検索して出てくるサイトを参考にしてください。【10/24追記】以前はdual bootでwin-linux併用PCにすることが流行ってましたが、最近は推奨されてないようです。

Windowsの場合
以下のサイトを参考に、WSLとUbuntuをWindowsPCにインストールしてください。
https://learn.microsoft.com/ja-jp/windows/wsl/install
https://highreso.jp/edgehub/machinelearning/windowsubuntu.html

【10/24追記】
WindowsにWSL/Ubuntuをインストールしなくても、Anacondaで大丈夫なことが確認できました。以下を参考にインストールして、netcdfを入れてください。
https://www.python.jp/install/anaconda/windows/install.html

Windowsへのgfortranのインストールはこちらを参考にしてください。
https://labo-code.com/fortran/fortran-basics/install-gfortran-into-windows/

Macの場合
しばらく使ってないのでわかりませんが、MacのベースはLinuxなので、terminalを開けばUbuntuと同じことができるはずです。

テキストエディタのインストール
藤田のお勧めは「Sublime Text 4」です。
https://www.sublimetext.com/
pythonやfortranのコードを書く時に、主要コマンドに色がついて識別しやすかったり、ワード検索せずとも同じワードがどこにあるかがわかるので便利です。Package Controlで「Minimal Fortran」を入れておけば、本合宿の用途には十分機能します。Windows、Ubuntu、Macそれぞれに対応しています。

pythonのインストール
Ubuntuをインストールすれば、一緒にpythonもインストールされているはずです。が、Windowsの場合、Windows上にAnacondaやpythonが入っていても、WSL上のUbuntuでは利用できないので注意。
【10/25追記】
Windowsにしろ、(WSL上のも含む)Ubuntuにしろ、Anacondaをインストールしておくと、netcdfのインストールが楽なことが判明しました。以下を参考にしてください。
https://www.pc-koubou.jp/magazine/38846

netcdfのインストール
Anacondaが入っていれば、netcdf4のインストールはかなり簡単です。以下のリンク先の4を参照
http://www.rain.hyarc.nagoya-u.ac.jp/~nishii/tech/python3/install_anacon_py_win.html

同じく、gfortranもAnaconda上でインストールできるみたい
https://qiita.com/jsasaki/items/75de30f3f14a20886cd8

gcc、gfortranのインストール
以下のサイトを参照のこと。
https://mtkbirdman.com/ubuntu-gcc-gfortran-install
https://www.linuxmania.jp/aptget-site.html#gsc.tab=0

netcdfのインストール
pythonでnetcdfファイルをいじるために必要。各自検索してインストール。
https://aquabreath.jp/2022/10/12/netcdf4

wgribのインストール
ERA5のデータをダウンロードした後に、あれこれいじるために必要。こちらを参照のこと。
http://www.hysk.sakura.ne.jp/Linux_tips/GRIBwgribInfo
gccがインストールされている必要がある。
【10/24追記：netcdfが手に入れば、あとは自分で何とか出来る、という人はスルーしてOK】

氷河合宿その１：ECMWFへの登録

まずはERA5データをダウンロードできるようにしましょう。昨今では、Google Earth Engineなどでも指定ポイントのデータをゲットできるようですが、ここではある程度広い領域、長い期間のデータを一括してダウンロードし、扱えるようになることを目指します。

で、準備をしていて驚いたのが、ごく最近（8月？）、ERA5のダウンロードの仕組みやコードが大幅に改訂され、過去に利用していたスクリプトが使えなくなったこと、また、データそのものも一部改良＆差替えがおこなわれたとのことです。

なので、講師側も一から習得し直ししながら本資料を用意しています。過去にダウンロードできていた人も、ここ最近使っていなかった場合はいろいろやり直すことがあります。

最初にECMWFにユーザー登録します。下記のサイトにアクセスします。

https://cds.climate.copernicus.eu/

右上のlogin/registerをクリック

このポップアップが出てくるので、【I understand】をクリック。（Create an ECMWF account をクリックすると、上位ページに飛ばされて迷子になるので注意）

すでにアカウントを持っている人はLog in、持ってない人はRegisterへいって登録。

ログインが済んだら、最初のページに戻り、検索窓に「ERA5」を入れて検索します。

この画面が出てきたら、とりあえずの登録作業は終了。

次は、ダウンロードするパソコンの準備に取り掛かります。

氷河合宿その０：はじめに

 雪氷学会の分科会「氷河情報センター」が「氷河分科会」に改名された記念？として、分科会会員のスキルアップを目的とする「氷河合宿」を実施することになりました。

とはいえ、氷河に行って観測するにはお金も時間もありませんので、本合宿では、

・ERA5データの【自動】ダウンロード
・バイナリデータからテキストデータの抽出
・気温データの標高補正
・ERA5と観測データの比較
・質量収支モデルの実行
・結果の比較と調整方法

をおこないます。後々のために、長らく休眠していた本ブログを資料置場とし、ダウンロードのためのスクリプトなどを公開しようと思います。

対面合宿（11/21-22）までにどこまで進めるかは、成り行き次第ですが、主催者としては、ERA5と観測データの比較を紹介してもらうところから始められるとよいな、と考えています。

合宿に参加者登録された人は、メールにて案内するスプレッドシートに、どこまでできたかをチェックしてください。

ではでは、よろしくお願いします。

ふじた

planned and completed activities in 2021

Website of Lab. /www.cryoscience.net/ 
Twitter: @hma_glaciers 始めました

研究室見学は随時受け付けています。遠慮無く連絡ください。

ただいま観測中


今後の予定
6-8 モンゴル氷河観測＠Mongolia

9/13-16 雪氷生物研究会@online
9-11 ヒマラヤ氷河観測＠Nepal

a century dust record in a greenland ice core

立川方面のnaoponさんが取りまとめた論文がClimate of the Pastに掲載されたのでご紹介

New research article: Variations in mineralogy of dust in an ice core obtained from northwestern Greenland over the past 100 years https://t.co/qmSSgQaLuk

— Climate of the Past (@EGU_CP) June 23, 2021

このアイスコアは2014年に北西グリーンランドのSigma-Dサイトにて掘削したもの
※いや～なつかしい

drilling restarted

ここしばらくはかなりシビアなブリザードで、 掘削テントが半壊したりと大変だったようです。