Predictive State Recurrent Neural Networksを読んだ

NIPS 4本目.

今日もタイトルに惹かれて読んでみた.

概要

状態空間モデルをRNN系に拡張したというもの.
その中でPSRNNというLayerを提案して、多層構造の学習手法についても提案.

LSTMやGRU対比PTBやMotionのデータセットでOutperformした.

雰囲気のイメージ図はこんな感じだけど、数式無いとなんの説明にもなってないな.
(数式あると説明になるとは言っていない. てかすごい分かりにくかった.)

Factorized PSRNNも提案している.
BPTTで出来るのがウリっぽい？けど普通の方が精度がいいらしくて、うーん...

Penn Tree Bankに対して適応してみた例.
確かに実験としてはいい結果に見える.

OpenAIのSwimmerやUCI リポジトリのHandwritingに対しての実験もしている.
良好な結果.

確かに実験としてはいい結果が出てるけど、追試してみないと何ともという感じ.

状態空間モデルマニアにはたまらないかもしれん.

著者実装公開してくれないかな.
(軽くググッたけど見つからず...)