ML

Deep Learning training の待ち時間にすべきこと

ML

Deep Learning の training 時間は短いものでは数十分、長いものでは数日に及ぶ。その training が走っている間は、何をすると1番プロダクティブだろうか。いくつかの候補とそれぞれの利点と欠点を以下にまとめてみた。 SNS やメールのチェック コーディング…

RL Course by David Silver - Lecture 1 - Reinforcement Learning(強化学習)勉強メモ

ML

Lecture PDF and YouTube. 授業を聞きながらスライドにいくつかメモしたPDF

Deep Reinforcement Learning: Pong from Pixels - Reinforcement Learning(強化学習)勉強メモ

ML

http://karpathy.github.io/2016/05/31/rl/ 入門から実践までカバーしていて大変よい。日本語訳は https://postd.cc/deep-reinforcement-learning-pong-from-pixels-1/ にある。 Actions は Pong のゲームのバーを Up or Down する。 Reward はボールを相手…

イントロ - Reinforcement Learning(強化学習)勉強メモ

ML

Reinforcement Learning の勉強メモ。毎日追記していく予定。前提知識 Neural Network の基礎。back prop まで。

RL Course by David Silver - Lecture 2 - Markov Decision Process(強化学習)勉強メモ

ML

YouTube スライド + メモ

RL Course by David Silver - Lecture 3 - 強化学習)勉強メモ

ML

スライド+メモ

colab でプッシュ通知

ML

colab で2-3時間の training を動かしているときにプッシュ通知があると便利。 training 終了や例外がでたときにスマホにプッシュ通知が来るようにできる。 https://www.pushbullet.com/ を設定・アプリインストール。API Key を発行。こんなに簡単にプッシ…

Twitter Conversation Crawler

ML

Wrote twitter_conversation_crawler to get training data for Seq2Seq base chatbot.

Seq2Seq まとめ

ML

以前作った Seq2Seq を利用した chatbot はゆるやかに改良中なのだが、進捗はあまり良くない。学習の待ち時間は長く暇だし、コード自体も拡張性が低い。そういうわけで最新の Tensorflow のバージョンで書き直そうと思って作業を始めた。しかし深掘りしてい…

Deep Reinforcement Learning for Dialogue Generation を読む(まだ途中)

ML

Abstract seq2seq は良いのだけど未来の会話の方向性を無視した近視眼的な output を出しがち。future reward をモデル化することで良いゴールを達成するよ。 モデルは2人の virtual agent をシミュレートする。vitual agents は policy gradient mothods を…

Chatbot と beam search

seq2seq で decoder から出力するときに beam search の方が出現確率が高いモノを選べるので結果が良くなるはず。beam search の詳細は karino2氏の解説。beam search 自体はシンプルで理解しやすいアルゴリズムなのだけど、Tensorflow のグラフでこれを書く…

Style Transfer

ML

Style Transfer を Stanford の機械学習クラスの CS 20SI の課題で実装してみた。Style Transfer とは絵画の写真から作風を特徴として、別の画像にその作風を適用するもの。Style Loss と Content Loss の和を最小化する方向で画像を生成するのが面白い。し…

Chatbot tweet listener と reply worker を分離した

prediction の際に時々落ちる。そのたびに落ちないように修正しているが、まだまだ未知のものがありそう。落ちてしまうと reply できないままに情報が失われてしまう。これを改善するためにプロセスを分けて listener: user stream を listen して tweet を …

Chatbot ときどき自発的に tweet するように

今日の Chatbot 変更。時々自発的に tweet するように。あとエラーハンドリングをまじめに。

Seq2Seq の疑問を解決するために論文を読む

ML

疑問1 encoder の input について Seq2Seq encoder に sentence を input するときに Word Embeddings をするのだけど、input が [word_vec1, word_vec2, ..., word_vecn] のように word vector の sequence になるような気がするが自信なし。 Decoder/Encod…

Sequence to Sequence Learning with Neural Networks を読む

ML

論文を流し読み、途中でメモを諦めた。word embeddings をどのタイミングでやっているかわからなかった。基礎知識だから省略されたのかな。 Introduction Input sequence を 1 timestamp ずつ読んで large fixed vector を得る(Input の長さは可変長だが fi…

作業ログ LSTM 途中

ML

Machine-Learning/1. Predict Nikkei Up or Down.ipynb at master · higepon/Machine-Learning · GitHub Machine-Learning/2. Binary Predict Nikkei Up or Down.ipynb at master · higepon/Machine-Learning · GitHub Machine-Learning/3. Nikkei curve fit…

Keras LSTM で足し算

ML

http://peterroelants.github.io/posts/rnn_implementation_part02/ を Keras で。一部元コードをそのまま使ってる。 # Porting http://peterroelants.github.io/posts/rnn_implementation_part02/ using Keras import sys import os import numpy as np fro…

Tensorflow CNN の読み解きメモ

ML

https://www.tensorflow.org/tutorials/mnist/pros/ のメモ。 さらっ読み流すと意外とつまづくので。 convolution で input と output が同じサイズなのはなぜ? padding=SAME が指定されているから 0 で padding されてる。zero padding を padding しない…

スマートウォッチの加速度計データとニューラルネットワークを利用してヨガのポーズを区別できるか?

Rebuild: Aftershow 126: Everything Except Mayonnaise (higepon)で紹介したプロジェクト。Machine Learning | Coursera で機械学習のクラスを修了した。理解を確認するために小さなプロジェクトを作っていたので紹介。実用性はいまのところない。 まとめ P…