Deep Pyramid Convolutional Neural Networks for Text Categorizationを読んだ

先週末見つけたテキスト分類に関する以下のペーパーを読む.

Deep Pyramid Convolutional Neural Networks for Text Categorization

この人達、ずっとこの分野やってんな.
そしてBaiduからTencentにうつったりしてて、中国勢の勢いを感じる.

あとFGOでチェイテ城の上にピラミッド刺さってるやつ攻略している都合、 なんか近親感が湧く.

概要

この人達が以前やった研究から深い文字レベルCNNより浅い単語レベルCNNの方が パフォーマンスが良いことが言われてるけど、頑張って単語レベルCNNを深くしてみた.
というお話.

poolingをしていきながらdownsamplingしていくので、 ピラミッド形状になっていることからDeep Pyramid Convolutional Neural Networks (DPCNN)と呼ぶことにしたようだ.

構造は以下のような感じ.

結果

強い(小並感)

ポエム

結構いろんな実験もしていて、ピラミッド型にしないタイプや、 埋め込み層の種類についても比較していて、こちら参考になる.
だめだったケース載せてくれるのは非常にありがたい.

ピラミッド型かどうかなど構造に関する比較.

埋め込み層の種類の比較.

実務上だとw2vでもいいような気がした.

実装もそこまで難しくなさそうなので、使ってみたい.
(tv-embeddingはまた調べないとな...)