またーり くおんつ ノート

お勉強した初歩的なことを書くチラシの裏

Deep Learning for Precipitation Nowcastingを読んだ

NIPS 2017 3本目(だっけ?).
脱線が過ぎたけど、また戻ってきた.

今日はなんとなくタイトルで目を引いたこいつ.

[1706.03458] Deep Learning for Precipitation Nowcasting: A Benchmark and A New Model

nowcasting的なことをディープでやりたいようだ.

外観

  • RNNでnowcastをやりたい
  • 位置の2D情報をもとに
  • 比較のために新しいベンチマークとなるデータセットを用意したよ
    • MovingMNIST++ と香港の降雨情報(ゲリラ豪雨当てたいようだ)
  • 考えたTrajGRUが従来の手法(ConvLSTMや2D CNN, 3D CNN)を上回った
    • 従来手法であるoptical flowも上回ってるらしい
  • videoにも使えると思うから今後やりたいらしい

雰囲気

これはいつものRNN系で時系列データを予測する枠組み.

f:id:aki-don:20171101085547p:plain

考案したTrajGRUだとrecurrent connectionが動的に決定されるところに利点がある.
これのおかげで降雨の地点が変わっていくのも対応できるのだとか.

f:id:aki-don:20171101085605p:plain

モデル

従来のConvGRU

f:id:aki-don:20171101090505p:plain

提案手法のTrajGRU

f:id:aki-don:20171101090521p:plain

2Dの位置情報をもとにwarp関数を経由してるあたりが変更点.
そのうち実装を公開すると書いてあったので、あとで調べる.

所感

てかMovingMNISTとかあるのかw

今回は動く速度が一定ではないMovingMNIST++を作ったらしい.
結構シュール.

f:id:aki-don:20171101085532p:plain