3月
-
- 3/1 notebook 用意
- 3/1 train data の format を決める
- 3/1 生成する
- 3/1 あっていることを確かめる
- 3/2 visualize
- 3/2 loss 定義
- 3/2 train predict
- 3/2 精度見る
- 3/3 次の一手考える
- 3/3test data / train data の分け方がイマイチだな
- 3/3別のマシンをセットアップして高速化をはかる
- 早くなったが収束しなかった
- 3/3iteration スピード大事
- 3/4 これの accuracy 大事 https://github.com/fchollet/keras/issues/597
- 3/4 Keras の cageborization sample みる
- 50% を超えないのは不自然ではないかも
- 3/5nikkei curve fitting をもういちどやってみて考えよう
- 3/5 3. nikkei curve fitting
- U3/5 Util がたまってきたので整理
- 3/5 script name
- 3/5 best fit
- 3/5 save loss
- 200 個のデータからある程度の価格は予想できるが、up/down はだめっぽ。モデルとしてだめなんだと思う。
- 3/5 資料集め ここに10個
- http://tensorflow.classcat.com/2016/11/04/tensorflow-stock-price-prediction-using-rnn-lstm-gru/ 特記なし
- https://arxiv.org/pdf/1603.07893.pdf 種々の LSTM あとで読むかも?
- https://link.springer.com/article/10.1007/s10586-017-0803-x social network を考慮に入れるっ
- http://ieeexplore.ieee.org/abstract/document/7550882/?reload=true 違う種類の入力を両方使う
- https://web.wpi.edu/Pubs/E-project/Available/E-project-042816-130221/unrestricted/MQP_-_Final_Draft.pdf これ面白い。77
% accuracy だと?
-
- http://masamunet.com/2016/11/09/web%E5%B1%8B%E3%81%AE%E8%87%AA%E5%88%86%E3%81%8C%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E6%A0%AA%E4%BE%A1%E4%BA%88%E6%83%B3%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%A0%E3%82%92%E9%96%8B%E7%99%BA/ 好感
- https://www.slideshare.net/ssuser4b29b7/ss-66793390 シミュレーションしているのが面白い
- http://doz13189.hatenablog.com/entry/2016/11/30/225830 ??
- http://recruit.gmo.jp/engineer/jisedai/blog/deep-learning/
- 3/6 次の一手を考える
- アイデアを出すのは時間がかかる
- もっと手を動かしたほうが見えるかも
- LSTM merge をためしてみよう
- そのあとに merge で Embedding text
- 3/7LSTM merge
- うごいた
- LSTM with embedding text
- embedding とはなにか?
- 使用コード例を見つける できれば日本語で
- 簡単な応用例を考えよう
- 3/8題材考え中
- 3/9題材考え中あかーん
- 3/10 アイデアが浮かぶまでいろいろな技術要素を試すのが良かろう。seq2seq で chatbot かな。自分と会話するのが楽か。
- http://qiita.com/ktsujino/items/03d7ab0bbbe60b5ed00e
- https://github.com/ktsujino/Neural_Conversation_Models
- 3/11 読んでる http://qiita.com/halhorn/items/dc10596942ef4be54af5
- notebook を作って明確なステップを書いていこう
- 3/12 ためしに2のサンプルで学習させたが Y をどうやって文に戻すか分からない件
- 以下を読んでいく
- 3/13 http://qiita.com/ktsujino/items/03d7ab0bbbe60b5ed00e
- 3/14 https://arxiv.org/abs/1409.3215
- 3/13 http://cs224d.stanford.edu/papers/ancm.pdf これはモデルの詳細はあまりない。seq2seq の詳細が知りたい
- 3/13 http://qiita.com/halhorn/items/614f8fe1ec7663e04bea
- http://qiita.com/KojiOhki/items/45df6a18b08dfb63d4f9
- チェックポイント
- 大まかなうごきは把握できたか
- input の形式は理解できたか
- output の形式は理解できたか
- attention メカニズムを要約する
- beam decoding を要約する
- 3/14 これ動かしてみよう
- 3/14 https://github.com/nicolas-ivanov/debug_seq2seq
- 3/14 動いた
- debug_seq2seq を notebook で分解して実行していくr
- 3/15 モデル作成
- 3/16 train データまだ途中
- 3/17 3/18 小さいデータで動いて何かが出力されるようになった
- 3/19
- 収束しないのはなぜ
- セットアップを見直す?
- seq2seq の誤差を見直す
- Seq2Seq parameters
- 3/19 4 layers 1000 cells at each layer
- 1000 dimensional word embeddings
- Input vocabulary 160000
- Output vocabulary 80000
- use SGD
- 128 sequences per batch
- 例のボットは 50万行データ
- 3/19 学習のさせ方がおかしい?他のやつと比較
- http://suriyadeepan.github.io/2016-12-31-practical-seq2seq/ を https://github.com/Marsan-Ma/chat_corpus で試す
- 3/19 まず動かしてみる
- ブログ読んでみる。おおよその流れ
- 入力データ。embeddings。beam とか?
- 03-Twitter-chatbot.ipynb の tensorflow をkeras に置き換えるのはどう?
- 3/20 コードをほぼ書き換えず keras で training and prediction にトライ中
- batch input の形が直感的ではないと思ったら tf.nn.seq2seq.embedding_rnn_seq2seq に合わせてあるのか。うーん。
- https://github.com/wjbianjason/dialog_research/blob/e12c02bee1e67f0432a559016574ed48109e8f7e/keras_dialog/model_factory.py
- https://github.com/aigamedev/nuclai16/blob/ef014bd398c481323022a693c2173f165bdf87d3/lstm/reply.py
- https://github.com/wangjin0818/CGED_2016/blob/13c8d711a863a56fc06dacf469df88266757d7f3/training_split.py
- 3/20 word embeddings と encoder input の関係が分からず詰まっている。
- 3/21 調べる前に仮説を立てる
- 3/21 https://arxiv.org/pdf/1409.0473.pdf
- encoder は sentence, sequence of vectors を入力とすると書いてある。つまり "hello world" だったら [wordVecForHello, wordVecForWorld] が入力だと思う。出力は固定長の vector C (これが文意を学習した結果の何か)
- https://arxiv.org/pdf/1406.1078.pdf が原典らしいので読む
- 3/21 ここにまとめてるけど。まだ途中。http://d.hatena.ne.jp/higepon/20170321/1490097594
- 3/22 息子病気のためおやすみ
- 3/23疑問が解けた
- beam search は必須ではない
- input は sequence of vector (embeddings)
- 3/23 notebook にもどる
- 3/24 03-Twitter-chatbot で input の次元が合わないことを調べる
- 3/26 ようやく掴んだ入力はバッチリ。