最近の読書「三体」他

とにかく三体が素晴らしかった。早く続きが読みたい。ワクワクが止まらない系。

Jigsaw Unintended Bias in Toxicity Classification 記録 - Kaggle

Jigsaw Unintended Bias in Toxicity Classification | Kaggle に取り組んだときの感想。コンペは終了していないが submission の受付が完了。ランキング発表を待つだけなので忘れないうちにメモを残す。 過去に経験のある text の classification 系。LSTM,…

読書メモ - 機械学習のための特徴量エンジニアリング

最近の読書

「凍りのクジラ」、「旅人」、「羊と鋼の森」が特に良かった。今年は当たりが多い。 凍りのくじら (講談社文庫)作者: 辻村深月出版社/メーカー: 講談社発売日: 2008/11/14メディア: 文庫購入: 4人 クリック: 45回この商品を含むブログ (146件) を見る残り全…

Stacking 実装中

ちょうどよい加減に抽象化された Stacking の例が意外と見つからない。base models での CV、meta model での CV それぞれどうやるべきなのか。meta model は linear で良いのか。 tree base が良いのか。実践的な例をがんばって探してみている。このコンペ…

Kaggle Ensembling Guide + 実装例

Kaggle Ensembling Guide | MLWave という良記事を読み込む。そして1ミリもごまかさずに理解する過程をメモ。 Creating ensembles from submission files Voting ensembles これは分かりやすい。モデルが3つ以上あるときに prediction 結果の多数決をとって…

Kaggle 今日の作業記録

新コンペ。ネタバレ無しで。 安定した local CV の確立 いくつかのモデルを試す

Kaggle 新コンペ Santander Customer Transaction Prediction

とりあえず Starter Kerne 書いた。コンペ開催中はブログに何もかけないのが辛いですね。 www.kaggle.com

Quora コンペ入賞者手法まとめ

自分のコメントはかなり適当。後で更新するかも。 3rd 3rd place kernel | Kaggle Keras embedding load 時に stemmer and lemmetizer してできるだけ dictionary の中から見つける bidirectional GRU と LSTM の output の maxpool を concat max_length = …

Transformer - Attention Is All You Need の概要が理解できるリンク

Attention Is All You Need https://t.co/eUZ17XVu8L で提案された Transformer 以降は self-attention が主流な印象です。先日おおきな話題になった BERT も Transformer 系です。— agatan (@agatan_) February 12, 2019 で教えていただいた [1706.03762] A…

今回のコンペでやるべきだったこと

今回のコンペでやるべきだったこと、次回のコンペで活かせることに絞って覚書。 debug mode をつけるべきだった。train/test data のサイズを極端に小さくするモード。 Kernel を commit する前に小さいデータで動作確認をすべき。特に自分は typo が多いの…

Quora コンペ takuko さんのコード

Twitter で takuko さんが使用したスクリプトを公開してくださった。こういうのは本当にありがたい。 Quoraのスクリプトをまとめて、久々にgitでコードを公開しました!(requirementsとかREADMEとかめんどくさくて手をつけてないです。。。)https://t.co/jfh…

Kaggle における K-Fold CV まとめ

背景 参考 K-Fold CV と Train Test Split 違い K-Fold CV 例 K-Fold 亜種 CV FAQ Local CV の値が安定しない Local CV と public LB で傾向が違う 考えられる理由1 考えられる理由2 Local CV と public LB どちらを信じるか 背景 先日 submission の締切が…

RNN Attention の理解と bias の議論

背景 参照 前提 RNN を利用した Encoder& Decoder MNP モデル 特徴 図 Attention 理解のキーポイント 重み PyTorch での Attention の実装例 コードの解説 問題とされた点 筆者の疑問点 間違いを見つけたら 背景 Quora Insincere Questions Classification |…

Kaggle PLAsTiCC Astronomical Classification competition まとめ

先日終了したPLAsTiCC Astronomical Classification | Kaggleコンペ。上位のチームの解法のまとめ。自分は1097チーム中247位でした。Coursera で Kaggle コースをとったあとに途中から参加したコンペで、力及ばずだったので何が足りなかったのか知るためのま…

Kaggle 今後の方針

Kaggle を初めて少し時間が経っていろいろ分かってきたので今後の方針をここで書きながら考える。 学び Feature Engineering がんばらないと勝てないコンペ多い。 Tabular data だと NN よりも XGBoost 勢が人気で強い。 Kernel 書くとフィードバックもらえ…

ホモ・デウス

ホモデウス読了。前作サピエンス全史同様に作者の深い洞察と鋭いマクロ視点が好き。特に人間の意識の話が面白かった。おすすめ。これからの世代は大変そうだ。ホモ・デウス 上: テクノロジーとサピエンスの未来作者: ユヴァル・ノア・ハラリ,柴田裕之出版社/…

Clouderizer + Google Colab for Kaggle

HoxoMaxwell ❄️さんのツイートで見かけてToDoに入っていた Clouderizer + Google Colab を試した。手順は Kaggle Competition on Google Colab — how to easily import datasets and local files and access… にある通り。 この手の Cloud Service をラップ…

読書について

読んだ。何か本を一冊読むならば、まずはこれを読めばいいと思う。短い。難しくもない。大切なことが書いてある。方法序説 (岩波文庫) は訳が古すぎて頭に入ってこなかった。

Install google.colab library for local colabratory

cd /tmp git clone https://github.com/googlecolab/colabtools.git cd colabtools python setup.py bdist_wheel pip install dist/google_colab-0.0.1a1-py2.py3-none-any.whl

Deep Learning training の待ち時間にすべきこと

ML

Deep Learning の training 時間は短いものでは数十分、長いものでは数日に及ぶ。その training が走っている間は、何をすると1番プロダクティブだろうか。いくつかの候補とそれぞれの利点と欠点を以下にまとめてみた。 SNS やメールのチェック コーディング…

RL Course by David Silver - Lecture 1 - Reinforcement Learning(強化学習)勉強メモ

ML

Lecture PDF and YouTube. 授業を聞きながらスライドにいくつかメモしたPDF

Deep Reinforcement Learning: Pong from Pixels - Reinforcement Learning(強化学習)勉強メモ

ML

http://karpathy.github.io/2016/05/31/rl/ 入門から実践までカバーしていて大変よい。日本語訳は https://postd.cc/deep-reinforcement-learning-pong-from-pixels-1/ にある。 Actions は Pong のゲームのバーを Up or Down する。 Reward はボールを相手…

イントロ - Reinforcement Learning(強化学習)勉強メモ

ML

Reinforcement Learning の勉強メモ。毎日追記していく予定。前提知識 Neural Network の基礎。back prop まで。

RL Course by David Silver - Lecture 2 - Markov Decision Process(強化学習)勉強メモ

ML

YouTube スライド + メモ

RL Course by David Silver - Lecture 3 - 強化学習)勉強メモ

ML

スライド+メモ

colab でプッシュ通知

ML

colab で2-3時間の training を動かしているときにプッシュ通知があると便利。 training 終了や例外がでたときにスマホにプッシュ通知が来るようにできる。 https://www.pushbullet.com/ を設定・アプリインストール。API Key を発行。こんなに簡単にプッシ…

learning rate リストア問題

Colab で長時間トレーニングしていると、必ず途中でトレーニングを止めてレストアする必要が出てくる。そのときに training_rate をうまく restore する方法。これ。 https://stackoverflow.com/questions/44886669/how-to-restore-the-learning-rate-in-tf-…

Twitter Conversation Crawler

ML

Wrote twitter_conversation_crawler to get training data for Seq2Seq base chatbot.

2018年読んだ本を記録する

3月 人生の短さについて 他2篇 (古典新訳文庫) 2月 終末のフール (集英社文庫) ジャイロスコープ (新潮文庫) 人生の勝算 (NewsPicks Book) A Diversity-Promoting Objective Function for Neural Conversation Models 1月 漫画 君たちはどう生きるか サピエ…