unidata での会合(1) 2004/9/20

向うの人

• Russ Rew (Head)
• Hohan Ramamruthy (Director)
• Ethan R. Davis (Software Engineer)
• Ed Hartnett (netCDF の developer)
• その他たくさん

歴史

• 歴史的には real data (GTS) の配信
• おかげで他の大学は satellite data にアクセスできた.
• 1995/96 に全部をネットワークで配信するのはやめた.
• Mission statement: Provide data, tools, and coomunity leadership for enhanced Earth-system education and research
• education に関しては training workshop というのを月一回やっている.

Unidata program center

• 構想 : Circa (1983)
• 1987 にoffice ができた.
• Funding ソース 主に NSF/ATM additional に NSF/EH and NASA
• 当時の visualization system は McIDAS http://www.ssec.wisc.edu/software/mcidas.html
• 26,27 人の人がいるらしい
• 現在の年間予算は $400万

Internet data distribution

• だいたい 150 以上のサイトが Internet Data Distribution (IDD) system に参加.
• 2GB/hour のデータがソースから出ていく
• LDM (local data manager)
• 週に 15 TB のデータがtransmit される
• LDM は, Internet2 では HTTP, NTTP に次いで 3 番目の使用量.
• 参加するには unidata にcontact をとる. その時, どこのサイトから持ってきなさいとか行ってくれるようだ.

技術的なもの

• McIDAS
• GEMPAK
• Integrated data viewer unidata 謹製, java-base, 下でpython を使っているらしい (python の Java 用module Jython)
• netCDF
• local data manager
• THREDDS

LDM は主に Unix system

• GB memory few GM のデータstorage
• LDM はもはや operational system
• IDD, LDM の 中心人物(developer)は Steve と Glen davis
• TCP の簡単なプロトコルを使っている
• SuomiNet : GPS のnetwork サービス LDM のsystem を使っている. SuomiNet では水蒸気のデータも配信している.

次のtarget

• Unidata 2008: Shaping the Future of data use in the geodesciences 大気関係以外の分野も視野に入れて考える.

LEAD : A large grid computing project

• Linked Environments for Atmospheric Discovery 非常に新しいプロジェクト
• on demand でリモートの資源を使う. 例えば, このモデルをその分解能であのマシンで走らせろ, とか

IDV

• fully supports Java 2 and Java 3D
• ユーザ登録, ダウンロード, インストールしてみた. 動いた. http://my.unidata.ucar.edu/content/software/IDV/index.html
• RICO でも使われている

NetCDF-3.6

• 3.6 では large file support
  • 現行は 32-bit offset
  • 新しいのは 64-bit
• Initial development は Greg Sjaardema, Sandia Labs
• maximum file size は netCDF with Large file size support(LFS) で 8EB(18乗)
• fixed-size の変数の数 (2GB 以上)は 2^{32}
• ドキュメンテーション
  • FrameMaker から Texinfo に変更
  • Windows ユーザは Cygwin を使うが良い, だそうだ.
  • 1 変数のサイズは 4GB まで(netCDF3.6 with LFS, 64-bit offset)

netCDF-4

• HDF5 がbase
• HDF5 で parallel が使える.
• HDF5 で 64-bit offset が使える
• HDF5 は NCSA HDF group で開発・維持管理されている
• netCDF4 は netCDF3 library と HDF5 interface の両方を持つという形になるみたい.
• 現在, まだ HDF5 の機能のうちどれを使うかを決めた段階. なので設計段階という感じなのだろう.
• 規約に関してももライブラリである程度対応するつもりみたい.
• HDF5 の方でも netCDF4 をsupport するために作業
• 2005 年 7 月に release 予定
• 現在の問題点の 1 つとして挙げられていたのは parallel I/O として Northwestern/Argonne pnetCDF interface を使うので良いのか?
• ソースとってきてみた.

• まだ libsrc, libsrc3 とかのディレクトリしか無い.

どういうところで発表しているか

• HDF/HDF-EOS Workshop
• AGU fall meeting
• IIPS
• Earth Science Technology Conference

netCDF-JAVA, netCDF-4

• group はディレクトリのような概念
• netCDF-JAVA
  • 属性を示したり, ncdump の結果を見せたり, 絵を書いたりできる.
• VisAD というのもある: お絵書きツール これは全部 JAVA だそうだ.

堀之内さんの talk に対して

• 向うの人はやっぱり JAVA が良いみたい
  • why not JAVA? とか, JAVA library を直接呼べるか? とか
  • やっぱり http は universal なのでプロトコルは http を使いたい, とコメントされていた気がする.
  • JAVA には multi-dimension の class は無いけど, security の問題が clear されておるのは良いと言っておった.

unidata での会合(2) 2004/9/21

IDV

• 全部 JAVA
• 2 次元, 3 次元描画
• VisAD library (JAVA component library)を使用
• data model
  • metadata もつけられる
  • JAVA の ALAMA を使った data sharing
• THREDDS サーバにアクセスできる.
• htlm interface あり
• data format
  • netCDF(COARDS, CF の規約にも対応)
  • McIDAS/ADDE
  • Quicktime の読み書きをできる
  • OSG (OpenGIS) のデータも可 http://www.opengeospatial.org/
• developer は speaker の人(名前なんだっけ?) と Jeff の二人
• client/sever access
  • DODS/OPenDAP, ADDE, WMS, , HTTP, FTP, local file
  • THREDDS カタログ
• configuration file は XML で保存できる.
  • configuration の中身は everything だそうだ.
  • データソースとか絵の書き方を XML bundles として保存する.
• HTML viewer も入っている
  • 多分, XML bundle の中の html document をちゃんと見る事ができる, という話だと思う.
• その他のactivity
  • VGEE まだ custamized version of IDV に過ぎない. http://www.dpc.ucar.edu/vgee/index.htm
  • GEON
• 将来
  • 更に多くの data type への対応
  • catalog annotation, auto-update できるように
• 解析もある程度できるみたい.
  • data selector window の Edit -> Formulas とか Resources とかを選ぶ デモでは Resources のところにいっぱいメニューが出てたけど, 出ないぞ..

THREDDS

• OPeNDAP : access to scientific data
  • Open source project for a network data access protocal
  • http を使用
  • 2.0 は cgi base
• 普通のapplication でアクセス可能
  • IDL, matlab, ferret, Grads...
• THREDDS : catloging, describing
• OPeNDAP data project
  • DDX : XML representation データサイズ, 変数の属性なども記述される
  • Blob
  • ErrorX
  • データの情報を DDX で取得して, 実際にデータをとってくるのは Blob でやってエラーはErrorX object として返す, ということらしい.
• ODC (OPeNDAP data connector) というサービスもある
• THREDDS project
  • データサーバ群からデータを探し, 欲しいデータを選択すると IDV が起動して絵が描かれるという世界を実現するプロジェクト
  • catalog には, datatype, url などが記述される. 使用条件(free とか)も記述される.
  • catalog は読もうと思えば, JAVA library を使えば読める.
  • catalog は configuration file をもとに 1 時間にいっぺん(?)作り直す.
• HTREDDS DQC (Dataset Query Capabilityes)
  • 例えば, どこの場所のいつのデータが使えるか?
  • catalog には data set のreference がかかれているだけ.
  • catalog で探された個々のデータは, どういうものを提供できるかが DQC で記述される.
  • catalog generator は technical page から取得できる. http://my.unidata.ucar.edu/content/projects/THREDDS/tech/cataloggen/index.html から行けそう.
• search service
  • DLESE http://www.dlese.org/dds/index.jsp
• HTREDDS の仲間たち
  • GrADS/DODS な人達がdata server を運営. もとは html を喋る server.
  • Pacific Marine Environment な人達. これが結構活躍したのかな? web page には oceanographer のためのデータ供給がはじまり, みたいに書いてあったし.
  • hydrology community : forecast に使いたい.

GFDL での会合 2004/09/23

Balaji さんの talk

• FMSL の役割: high-end model の assessment と GFD的な考察
• 昔と変わったところ: computer の発達, モデルの複雑化, open source へのtrend
• modular design
• kernel (communication kernel) は high-peformance に
  • PMI, distributed shared memory などへのアクセスするためのinterface をもつ
  • user には parallel processing 用のdomain を設定する interface が用意されている.
  • single-threaded, multi-threaded single-fileset, multi-threaded multi-fileset の I/O ができるように
  • mpp 用
• coupler は grid の違いも吸収する
• user はmodel layer だけいじる.
  • user は MPP のこと知らんでよい
  • model layer の上と下が MPP をバリバリ使う.
• Coupler
  • モデル間のデータ交換
  • land, ocean, sea ice の部分で地面わけちゃう (大気以外で領域分けを考える)
  • 現在は交換する変数は決め打ちで増やすなら手で書く.
  • ocean も land も update_first というのを用意してその出力を大気モデルに引き渡して大気モデルを回す.
  • flux の引き渡しは3 種類のやり方を用意する.
  • coupling は serial coupling (forward-backward 的) A^t+1 = A^t + o^t O^t+1 = A^t+1 + o^t と concurrent couling (完全に forward-only) の2 つ
• FMS component models
  • ZETAC: C-grid の非静水圧, global model
  • LAND
  • HIM: isopycnal mixing model
  • SIS (Sea ice simulator )
• 自前の ocean model をFMS に 組み込むには以下を用意すれば良い
  • ocean_model_init, update_ocean_model のルーチン
  • ocean_boundary_type の変数セット
• FRE (FMS runtime environment): FMS の intereface
  • fremake, frerun, frepp, frecheck
  • RTS (Regression Test Suite) : model code integrity をチェックする.
• FMS を使った activity
  • IPCC, 長期run, 次世代大気モデル

昼食, その後の会談

• future plan
  • 対流モデル(10km メッシュ)も考えている.
  • Windows へのポートは予定無し
  • 鉛直 grid の変更は別モデルにて
• flexible ということに関して.
  • rotatation rate はphysic のmodule にはなく下の方にあるので難しい.
  • 逆に物理過程のモジュールに入っているものは NAMELIST で変えられる.
  • ユーザは model layer だけを変更することを想定する. それ以外はいじらない.
• 周辺事項
  • Balaji さんのgroup では計算結果をデータベースで管理している.
    • 計算設定, ソースに関してもデータベース化
    • 使っている EDB ソフトは MySQL
    • データベースは, 所内から閲覧可.
• 開発体制
  • 特に funding はない. 研究所内のお金を使う.
  • Balaji さんのグループは14人
  • Balaji さんはcoupler の設計, 個々のcomponent model のmanagement までたくさんのことをやっている.
  • 大気のモデルは12人くらいの人々が少しずつやっている.
  • 海洋はもっと少ないけど外の人も手をだすようになった.
• coupler
  • FMS では各component model が相手へのinterface を持っており, coupler の実体は main prograrm である. Balaji さんの talk におけるソース例を参照のこと.
  • NCAR model (coupler process が存在する)とは違う.
• コードに関して注意していること
  • best performance を出すように
  • NAMELIST 名は module 名がわかるように.
  • coding style は主に Balaji さんの考案.
• ドキュメント
  • 作らねばならないドキュメンテーションがたまっている.
  • ドキュメントはソースを書いた人が書くことにしており, fortran program に埋め込まれたドキュメントから自動的に生成する.
• 使用している計算機テクノロジー
  • CVS CVS でconflict するとやっぱり大変でしょっちゅう困っている. merge するのに時間がかかる.
  • XML
  • netCDF
• register している人は, 120 人くらい.
  • 日本からは(registered addres から .jp のものを抜き出すと) 4 人程度.
• 同業者
  • ヨーロッパには PRISM system というものがある
  • Chicago の Pierrerhumbert も似たようなことをしているらしい