Lecture PDF and YouTube. 授業を聞きながらスライドにいくつかメモしたPDF
http://karpathy.github.io/2016/05/31/rl/ 入門から実践までカバーしていて大変よい。日本語訳は https://postd.cc/deep-reinforcement-learning-pong-from-pixels-1/ にある。 Actions は Pong のゲームのバーを Up or Down する。 Reward はボールを相手…
Reinforcement Learning の勉強メモ。毎日追記していく予定。前提知識 Neural Network の基礎。back prop まで。
YouTube スライド + メモ
スライド+メモ
colab で2-3時間の training を動かしているときにプッシュ通知があると便利。 training 終了や例外がでたときにスマホにプッシュ通知が来るようにできる。 https://www.pushbullet.com/ を設定・アプリインストール。API Key を発行。こんなに簡単にプッシ…
Colab で長時間トレーニングしていると、必ず途中でトレーニングを止めてレストアする必要が出てくる。そのときに training_rate をうまく restore する方法。これ。 https://stackoverflow.com/questions/44886669/how-to-restore-the-learning-rate-in-tf-…
Wrote twitter_conversation_crawler to get training data for Seq2Seq base chatbot.
3月 人生の短さについて 他2篇 (古典新訳文庫) 2月 終末のフール (集英社文庫) ジャイロスコープ (新潮文庫) 人生の勝算 (NewsPicks Book) A Diversity-Promoting Objective Function for Neural Conversation Models 1月 漫画 君たちはどう生きるか サピエ…
This is minimum Seq2Seq implementation using Tensorflow 1.4/1.5 API with some comments, which supports Attention and Beam Search and is based on tensorflow/nmt/README.md. I'd recommend you run this in https://colab.research.google.com/.Thi…
以前作った Seq2Seq を利用した chatbot はゆるやかに改良中なのだが、進捗はあまり良くない。学習の待ち時間は長く暇だし、コード自体も拡張性が低い。そういうわけで最新の Tensorflow のバージョンで書き直そうと思って作業を始めた。しかし深掘りしてい…
思いついたら追記していく or コメント下さい。 Amazon が似たようなことをやる。 中高生が結果を見せあって盛り上げる。「おまえ足短っ!」とか。 筋トレクラスタが盛り上がる。 ダイエットクラスタが盛り上がる。 夫婦間でも結果を見せ合うのに躊躇する。 …
Abstract seq2seq は良いのだけど未来の会話の方向性を無視した近視眼的な output を出しがち。future reward をモデル化することで良いゴールを達成するよ。 モデルは2人の virtual agent をシミュレートする。vitual agents は policy gradient mothods を…
seq2seq で decoder から出力するときに beam search の方が出現確率が高いモノを選べるので結果が良くなるはず。beam search の詳細は karino2氏の解説。beam search 自体はシンプルで理解しやすいアルゴリズムなのだけど、Tensorflow のグラフでこれを書く…
Style Transfer を Stanford の機械学習クラスの CS 20SI の課題で実装してみた。Style Transfer とは絵画の写真から作風を特徴として、別の画像にその作風を適用するもの。Style Loss と Content Loss の和を最小化する方向で画像を生成するのが面白い。し…
prediction の際に時々落ちる。そのたびに落ちないように修正しているが、まだまだ未知のものがありそう。落ちてしまうと reply できないままに情報が失われてしまう。これを改善するためにプロセスを分けて listener: user stream を listen して tweet を …
今日の Chatbot 変更。時々自発的に tweet するように。あとエラーハンドリングをまじめに。
詰将棋を始めて続けることが今年の目標の一つ。1日3問ずつ解いてようやく1手詰ハンドブック終わった。当初の目的である脳内ワーキングメモリの増量効果はまだ感じていない。 次は 3手詰ハンドブック〈2〉 やる。
最近ずっと NN/CNN/RNN/LSTM などで遊んでいたのだけど Seq2Seq の encoder/decoder と word embeddings を理解したかったので Seq2Seq の chatbot を動かしてみた。Keras でフルスクラッチで書いていたのだけど上手く動かず。論文読んでもわからないところ…
Jupyter 上でよく Keras + Python を書くようになってきたので読んだ。omo さんが読んでいたから真似したともいう。Python に関する知識は「インデントの言語」、「numpy すごい」程度。見よう見まねでコードを書いていた状態だった。読んで一番良かったのは…
疑問1 encoder の input について Seq2Seq encoder に sentence を input するときに Word Embeddings をするのだけど、input が [word_vec1, word_vec2, ..., word_vecn] のように word vector の sequence になるような気がするが自信なし。 Decoder/Encod…
論文を流し読み、途中でメモを諦めた。word embeddings をどのタイミングでやっているかわからなかった。基礎知識だから省略されたのかな。 Introduction Input sequence を 1 timestamp ずつ読んで large fixed vector を得る(Input の長さは可変長だが fi…
Machine-Learning/1. Predict Nikkei Up or Down.ipynb at master · higepon/Machine-Learning · GitHub Machine-Learning/2. Binary Predict Nikkei Up or Down.ipynb at master · higepon/Machine-Learning · GitHub Machine-Learning/3. Nikkei curve fit…
http://peterroelants.github.io/posts/rnn_implementation_part02/ を Keras で。一部元コードをそのまま使ってる。 # Porting http://peterroelants.github.io/posts/rnn_implementation_part02/ using Keras import sys import os import numpy as np fro…
ピロリ菌は知っていたけど。こういった、ある程度科学的根拠が追いやすい知識集をWebで作ったらいいと思った。むだ死にしない技術posted with amazlet at 17.02.20マガジンハウス (2016-12-20)売り上げランキング: 1,831Amazon.co.jpで詳細を見る
omo さんがおすすめしていた Deep Work を熟読した。Deep Work とは「長期間中断しない難しい知的作業」のこと。その Deep Work がいかに大事か。そしてもっと時間を費やすべきかという内容。Deep Work と対極にあるのが Shallow Work。Twitter/Facebook/Ins…
古いバージョンの 0.12.1 の頃は models が同梱されていたのでこれを使う。現在は tensorflow/tensorflow と tensorflow/models に分かれてしまったのでバージョンミスマッチなどで全然動かない。 sudo -H pip install tensorflow-0.12.1-cp35-cp35m-macosx_…
https://www.tensorflow.org/tutorials/mnist/pros/ のメモ。 さらっ読み流すと意外とつまづくので。 convolution で input と output が同じサイズなのはなぜ? padding=SAME が指定されているから 0 で padding されてる。zero padding を padding しない…
https://www.coursera.org/learn/machine-learning を2周しているので NN の前提知識が合ったのでこの本はそれを補う形でとても良かった。とくに Gradient Descent の説明は分かりやすかった。 Coursera のコースでは CNN がなかったので CNN の説明が日本語…
しました。 https://twitter.com/HigeponJa/status/818691485797203968