Quora コンペ takuko さんのコード

Twitter で takuko さんが使用したスクリプトを公開してくださった。こういうのは本当にありがたい。

自分なりに public kernel を読みまくったので、public kernel と takuko さんの kernel で気づいた違いを列挙。

  • glove と para を mean ではなく 0.8:0.2 で足している。
    • なぜこの比なのか？Local CV で search した？
  • emb_mean, emb_std を定数で埋め込んでいる（速度のため？)
  • Gaussian noise regularizer を使っている
  • lstm と gru の max_pool, avg_pool （計4つ）も Input として使っている
    • どこかで書いたが max_pool が特徴量として効く理由が直感的に理解できていないのでここは将来 revisit で。list of LSTM state (len = max_len) から最大のものを選ぶことに意味があるのだろうか。不思議だ。
  • 追記：コメント欄参照