Very Deep Convolutional Networks for Text Classification を読んだ

読んだ. が、記事書く時間がない...

Facebook AI researchから出てるこいつ.

[1606.01781] Very Deep Convolutional Networks for Text Classification

結論

NLPの分類 or センチメント問題で画像認識ならってCNNのめちゃ深いの作ってみたよ.
やられてないのか、イマイチなのか発表当時はなかったけど、SOTAになったそうで.

層数やらPooling方法、Residual構造の有り無しを色々試しているが、
29層のMaxPooling系でResidual無しが良かった模様.

ただこれ以上深いものになるとResidual構造は効いてくるみたいだけど、
精度的にはOverfitしちゃってるぽい.

(昨日の論文で他の手法と比較されており、それを信じれば現状のSOTAではない.)

所感

色々試してくれてるので参考になる.

これを見てる中で昨日のペーパーの著者の最新論文がACL 2017で出てるのに気づいた.

Deep Pyramid Convolutional Neural Networks for Text Categorization

なんか数値がすげー強そうだぞ. 来週はこれからやるか...