CUDA error: device-side assert triggered のデバッグで苦労した。結論からいうと CUDA error は本当にデバッグが難しい。同じモデルを GPU ではなくて CPU 上で動かせば、もっと親切なエラーメッセージが見られる。CPU で再現しない場合は CUDA_LAUNCH_BLO…

背景 Kaggle の上位ランカーが PyTorch Lightning について言及していたの試してみる。同様に Comet ML も。Kaggle の試行錯誤を Colab (or Colab Pro) に移行できるかもあわせて検討する。 ToDO 以下淡々と ToDOをこなしていきメモを残す。 Lightning 基礎 …

前提 GCP への ssh 接続。GCP の AI notebooks インスタンスに ssh できなかったので調べた - higepon blog。 目標 Visual Studio Code のリモート接続を利用して GCP 上のコードを快適に編集。 git 周りの操作もそのまま行いたい。 Visual Studio Code 自体…

動機 Visual Studio Code でコードをリモート編集したい。そのためには local Mac からインスタンスに ssh が必要。 事実 インスタンスは起動している(Web インターフェースからコードを編集できる） インスタンスには外部IPアドレスが設定されている telnet…

時間のない人向けのまとめ ある日突然激しい頭痛に見舞われ即入院。 突発性脳脊髄液減少症（低髄液圧症候群）と診断され手術。何らかの原因で、脳脊髄液が硬膜から漏れて髄液圧が低下することで頭痛などの症状が起こる病気。 起立性頭痛（頭痛があるがしばら…

すでにある Kaggle dataset を API 経由で更新する方法。 % mkdir tf2-my-submission-dataset % cd tf2-my-submission-dataset % kaggle datasets metadata -p . higepon/tf2-my-submission % kaggle datasets download higepon/tf2-my-submission % unzip t…

口蓋扁桃の摘出手術を受けて7日入院したときの記録。 手術を受けた理由 直接の引き金は先月初旬に扁桃腺炎で40度以上の熱を出し入院したこと。以前から1年に何度も扁桃腺炎になっていた。喉の痛みからはじまり高熱というパターン。最悪の場合は悪化して抗生…

IEEE-CIS Fraud Detection コンペに参加。チームとして銀メダルをとりめでたく Kaggle Expert になった。コンペは名前の通り Credit Card のトランザクションを fraud or not に分類するもの。 時系列 Table コンペだが Time Series データなのに不安を覚え…

失明にいたる病気を眼の画像から判定する（5段階）コンペ。初めての画像コンペ。画像コンペでは大きくマシンリソースを使うというイメージで敬遠していたがそこまでもなかった。チームで挑み結果は804/2987。public から375もランクダウン。Shake up の原因…

とにかく三体が素晴らしかった。早く続きが読みたい。ワクワクが止まらない系。

Jigsaw Unintended Bias in Toxicity Classification | Kaggle に取り組んだときの感想。コンペは終了していないが submission の受付が完了。ランキング発表を待つだけなので忘れないうちにメモを残す。 過去に経験のある text の classification 系。LSTM,…

「凍りのクジラ」、「旅人」、「羊と鋼の森」が特に良かった。今年は当たりが多い。 凍りのくじら (講談社文庫)作者: 辻村深月出版社/メーカー: 講談社発売日: 2008/11/14メディア: 文庫購入: 4人 クリック: 45回この商品を含むブログ (146件) を見る残り全…

ちょうどよい加減に抽象化された Stacking の例が意外と見つからない。base models での CV、meta model での CV それぞれどうやるべきなのか。meta model は linear で良いのか。 tree base が良いのか。実践的な例をがんばって探してみている。このコンペ…

Kaggle Ensembling Guide | MLWave という良記事を読み込む。そして1ミリもごまかさずに理解する過程をメモ。 Creating ensembles from submission files Voting ensembles これは分かりやすい。モデルが3つ以上あるときに prediction 結果の多数決をとって…

新コンペ。ネタバレ無しで。 安定した local CV の確立 いくつかのモデルを試す

とりあえず Starter Kerne 書いた。コンペ開催中はブログに何もかけないのが辛いですね。 www.kaggle.com

自分のコメントはかなり適当。後で更新するかも。 3rd 3rd place kernel | Kaggle Keras embedding load 時に stemmer and lemmetizer してできるだけ dictionary の中から見つける bidirectional GRU と LSTM の output の maxpool を concat max_length = …

Attention Is All You Need https://t.co/eUZ17XVu8L で提案された Transformer 以降は self-attention が主流な印象です。先日おおきな話題になった BERT も Transformer 系です。— agatan (@agatan_) February 12, 2019 で教えていただいた [1706.03762] A…

今回のコンペでやるべきだったこと、次回のコンペで活かせることに絞って覚書。 debug mode をつけるべきだった。train/test data のサイズを極端に小さくするモード。 Kernel を commit する前に小さいデータで動作確認をすべき。特に自分は typo が多いの…

Twitter で takuko さんが使用したスクリプトを公開してくださった。こういうのは本当にありがたい。 Quoraのスクリプトをまとめて、久々にgitでコードを公開しました！(requirementsとかREADMEとかめんどくさくて手をつけてないです。。。)https://t.co/jfh…

背景 参考 K-Fold CV と Train Test Split 違い K-Fold CV 例 K-Fold 亜種 CV FAQ Local CV の値が安定しない Local CV と public LB で傾向が違う 考えられる理由1 考えられる理由2 Local CV と public LB どちらを信じるか 背景 先日 submission の締切が…

背景 参照 前提 RNN を利用した Encoder& Decoder MNP モデル 特徴 図 Attention 理解のキーポイント 重み PyTorch での Attention の実装例 コードの解説 問題とされた点 筆者の疑問点 間違いを見つけたら 背景 Quora Insincere Questions Classification |…

先日終了したPLAsTiCC Astronomical Classification | Kaggleコンペ。上位のチームの解法のまとめ。自分は1097チーム中247位でした。Coursera で Kaggle コースをとったあとに途中から参加したコンペで、力及ばずだったので何が足りなかったのか知るためのま…

Kaggle を初めて少し時間が経っていろいろ分かってきたので今後の方針をここで書きながら考える。 学び Feature Engineering がんばらないと勝てないコンペ多い。 Tabular data だと NN よりも XGBoost 勢が人気で強い。 Kernel 書くとフィードバックもらえ…

ホモデウス読了。前作サピエンス全史同様に作者の深い洞察と鋭いマクロ視点が好き。特に人間の意識の話が面白かった。おすすめ。これからの世代は大変そうだ。ホモ・デウス 上: テクノロジーとサピエンスの未来作者: ユヴァル・ノア・ハラリ,柴田裕之出版社/…

HoxoMaxwell ❄️さんのツイートで見かけてToDoに入っていた Clouderizer + Google Colab を試した。手順は Kaggle Competition on Google Colab — how to easily import datasets and local files and access… にある通り。 この手の Cloud Service をラップ…

読んだ。何か本を一冊読むならば、まずはこれを読めばいいと思う。短い。難しくもない。大切なことが書いてある。方法序説 (岩波文庫) は訳が古すぎて頭に入ってこなかった。

cd /tmp git clone https://github.com/googlecolab/colabtools.git cd colabtools python setup.py bdist_wheel pip install dist/google_colab-0.0.1a1-py2.py3-none-any.whl

Deep Learning の training 時間は短いものでは数十分、長いものでは数日に及ぶ。その training が走っている間は、何をすると1番プロダクティブだろうか。いくつかの候補とそれぞれの利点と欠点を以下にまとめてみた。 SNS やメールのチェック コーディング…