突発性脳脊髄液減少症になり1ヶ月以上寝たきりだった話

時間のない人向けのまとめ

  • ある日突然激しい頭痛に見舞われ即入院。
  • 突発性脳脊髄液減少症（低髄液圧症候群）と診断され手術。何らかの原因で、脳脊髄液が硬膜から漏れて髄液圧が低下することで頭痛などの症状が起こる病気。
  • 起立性頭痛（頭痛があるがしばらく横になると楽になる）がある場合は病院に行き症状を医師に伝えよう。
  • 確定診断・治療できる病院＆先生はとても少ない。関東エリアならS病院T先生。

このまとめについて

ある日の朝、原因不明の激しい頭痛に見舞われた際の、入院、手術、回復までのまとめ。最近少しずつ知られるようになった病気で（ラジエーションハウス～放射線科の診断レポート～でも取り上げられた）。正しく診断してもらえない場合が多いようだ。病院をたらい回しにされ、心療内科でうつ病と誤診されることもある。何ヶ月も原因不明で苦しむこともある。ここに詳細な記録を残すことで同じ病気にかかった人が、正しい診断・治療を受ける助けになれば幸いである。

感謝

闘病初期は原因不明で、一生寝たきりになる覚悟をした。はげまし支えてくれた妻と息子に深く感謝。また治療に尽力してくれた医療関係者のみなさんにも感謝と尊敬の念しかない。ある日突然出社できなくなって、職場の皆さんにも迷惑かけたが「仕事のことは気にせず治療に専念して」とバックアップしていただいて本当にありがたかった。

発症1日目

目が冷めて激しい頭痛に気づく。吐き気がひどい。トイレにこもり嘔吐。辛くて立てない。床にうずくまると少し楽になる気がする。頭痛持ちではないので、何らかの突発的なやばい病気かもしれない。近所の大きいK病院に行こうと思って着替えたが、まったく頭が回らない。僕の様子がおかしいことに気づいて妻がすぐにタクシーで病院に連れて行ってくれた。目がまわり頭痛がひどい。タクシーでは前かがみになりずっと下を向いて「早く着け」と念じていたのを覚えている。

病院到着後、すぐにストレッチャーで脳外科に運ばれ優先的に見てもらえた。この時点でベッドで横になると頭痛がすっと消えることに気づいていた。CT と MRI 検査。緊急を要する病気（脳梗塞？くも膜下出血？）の兆候は見られないと言われ安心。寝ると頭痛が消えることを先生に伝えると「過去に一度だけ見たことがあるが、これは髄液が漏れているかも」と言われる（この先生の判断が得られたことが本当にラッキーだった）。CT と MRI を見ると若干脳が下垂しているように見えるとも。ただし髄液が本当に漏れているかはわからなかった。その場でK病院での入院が決まる。治療方針は水分を取りつつベッドで寝たきりの絶対安静。あとで調べてわかったのだが脳脊髄液減少症の治療方法は大きく分けて2つあり。2-3週間の保存的治療（ベッドで安静）とブラッドパッチ（硬膜外自家血注入）があり、後者は対応している病院がとても少ないのだ。

発症2日目から14日目 K病院

水分をたくさん取る必要があり毎日点滴。食事とトイレ以外はベッドで安静。起き上がるときは頭を低くして60度くらいのお辞儀をしている状態だと少し楽な気がする。食事はおにぎりなど、文字通り寝ながら食べた。

  • 発症2日目: 朝症状改善せず。水を飲んだが全て吐いた。昼から夕方まで気力がなくスマホで動画見ることさえもできない。寝ていても頭が痛い気がする。家族が見舞いに来て少し安心した。朝昼ご飯ほどんど食べられず。夕飯はほぼ食べた。夜も動画見る気は起きなかった。
  • 発症3日目: 朝起きたら少し楽になってた。顔を上げてもすぐには頭痛が来ない。昨夜までは後頭部にずーんと頭痛がきていたが、少し来るくらい。長く立ってると眉間が痛い気がする。本当にほぼ寝ているので生活に必要なものすべてを、ベッドから手が届く範囲においた。
  • 発症4日目: 可もなく不可もなく。悪くもなっていないか良くもなってない。
  • 発症5日目: 変わらず。昼にもう一度CT。寝ながらパン食べると楽なことを発見。ブラッドパッチについて調べ始める。病棟内の自販機まで前かがみで行ってみた。行けたけど。気持ち悪くなった。
  • 発症6日目: ようやく発見したが朝気持ち悪いことが多い。水分不足？。首のMRI撮影。車椅子で移動で気持ち悪くなりしばらくベッドで休んだ。夕方の時点でも気持ち悪い。
  • 発症7日目: 起き上がってざわざわと頭痛がが来るまでの時間が長くなった気がする。少し良くなってる。ただ顔の左側に若干に違和感。TODOリストを作ろうという気力が湧いたので多分良くなってる。首のMRIでほぼ低脳髄液症確定。自販機まで歩いてみた。往路は快調。復路で少しずつ頭が重くなる感じ。昨日よりはかなり良い。
  • 発症8日目: 今日からカフェインを薬として服用。頭痛に効くらしい。起き上がってどれくらいで頭痛が来るか測定しよう。47秒、50秒。カフェインのため夜寝られず。眠剤もらった。
  • 発症9日目: 時間測定。1:50まで待っても。頭痛来ず。頭が若干重くなる。寝過ぎの肩こりとかと同化してよく分からない。3分で来ることがわかった。デイルーム往復くらい。夜測定したら6分。
  • 発症10日目: デイルーム往復くらいで頭痛。昨日と変わらずか？10分歩いた。7分ぐらいで軽い頭痛が始まる。10分の時点で頭が痛くなり終了。痛さは二日酔いよりは軽い。寝たら徐々に良くなる。回復に3-4分かかる？シャワー許可され20分浴びたら頭が痛くなった。
  • 発症11日目: 10分座るとズキズキして寝たくなる。昨日かなり調べたおかげで自分の状態について先生にまともな質問ができるようになった。
    • 漏れている箇所は見つかったか？
      • 見つかってない。脳の下がり具合（下垂）の程度は低く症状は軽いと考えている。首のMRIで漏れているっぽいことはわかっている。もう一度MRIを取れば客観的に良くなっているか分かるだろう。
    • 専門医S病院のT先生に紹介状を書いて欲しい
      • 問題ない（ただし予約が2ヶ月先までいっぱい）。造影剤を入れてのRIで漏れている箇所の特定する検査は、K病院ではやってない。
  • 発症12日目: 午前に血液検査と首のMRI。詳細を職場の上司に送った。座って5分経っても平気だった。怖いので途中でやめた。K病院とS病院の、病院連携で２日後にS病院での初診外来予約が取れた（ここもラッキーである。予約がいっぱいのところにねじ込んでもらえた）。僕は行かずに妻がMRIなどの情報を持って届けることに。
  • 発症13日目: 朝試してみたら約7分で頭痛がくる。もう一度測定。ベッドで座るバージョン。10分で頭が重くなってきた。右目の奥が痛い感じ？頭振ると痛い。13分で「うー」やめよう。となった。
  • 発症14日目: 今日はS病院で妻が話を聞いてくれた。T先生からまず間違いなく突発性低髄液症候群であろうとの診断が。5日後にS病院に入院することが決定。ブラッドパッチの予定。

発症15日目から18日目 一時退院

  • 発症15日目: 一時退院して自宅へ。自宅でも寝たきり。夜は家ですき焼き。家族との時間はかけがいのないものだ。帰宅で調子にのったせいかめまいなどが酷い。夜にとても暴力的な夢を見て怖くなる。頭痛の影響だろうか。自分の人格が変わってしまったのかと思いとても凹んだ。
  • 発症16日目: 朝から気持ち悪くほぼ全てを吐いた。その後11:30am まだずっとゆっくりしてたらよくなった。目をつぶったらめまいがする。夕方には完全に良くなった。なんだったんだろう。
  • 発症18日目: とても気分がよい。ベッドにいる分には健康に思える。明日はS病院への入院。多少吐き気があったが、息子との最後のお風呂になるかもしれないので一緒に入った。頭痛が来るまでに上がらないといけないので５分と短いが、幸せである。

発症19日目から22日目

  • 発症19日目: タクシーでS病院へ。起き上がっている時間が最大限短くなるように妻ががんばってタクシーや入院手続きを最速でやってくれた。感謝。すぐにT先生登場。柔らかな雰囲気の患者に安心感を与える良い先生。K病院の情報からほぼ間違いなく低髄液だろうとのこと。早速 RI シンチ検査。放射性同位体の造影剤を腰椎から注入して、その造影剤の拡散具合で髄液の漏出やその箇所の特定をするもの。ネット情報だが、この検査がやれる病院がそもそも少ないようだ。
    • 腰に注射して髄液の抜き取り。麻酔の注射が少し痛い程度でほぼ痛くなかった。髄液抜き取りの際に、出てくる単位時間あたりの髄液が少ないことから髄圧が低いことが分かり、低髄液であることがほぼ確定と先生が仰った。その後造影剤を注入。これも麻酔のおかげか痛くない。処置後先生が髄液を見せてくれる。透明な液体である。こんなこともなければ見られない貴重な体験。先生は処置中に、雑談してくれてリラックスさせようとしてくれてるのが良くわかる。良い先生だ。病室に戻りうつ伏せで少し寝かされる。しばらくすると仰向けになるように言われる。腰は痛いと言うより全体的に重い感じ。何となくお腹が痛いなあというのが背中側にあるのに近い。この後は小便を我慢しつつ撮影を待つ。これを書いている時点であと20分。撮影のため起き上がる。うげげ。腰痛い。我慢できる範囲だがすごい腰痛めた感じ。寝てる時は気づかなかった。撮影はCTミエロとRI脳槽シンチ。寝てるだけ。予告通り頭も痛くなってきた。髄液抜かれた分痛くなるらしい。全ての移動は車椅子。
    • T先生の回診。RI で二箇所の漏れが見られる。首と背中二箇所のブラッドパッチの方向で同意書をもらった。CTでも似たような所見。念のため頭部撮影したが脳出血はなさそう。採取した髄液を国の研究に使って良いか？の書類ももらった。快諾した。今日は3回、明日の朝1回RIがある。2回目終了した時点で、漏れが確認されているわけだがあと2回やる必要あるなだろうか。
  • 発症20日目: 腰の痛みがかなり良くなり、座ってもずーんと痛くならない変な姿勢にならない。でもまだ痛い。立って歩けるようになった。髄液抜き取りの影響も減ったようだ。
    • RI 9時から。朝食は7:30くらい。昨夜は眠剤節約のため普通に就寝。23時くらいまで眠れなかった。
    • シャワーを10分ほど浴びたら眉間と後頭部が痛くなった。まだまだだね。
    • 明日はブラッドパッチなので夜に緊張。治る。絶対治ると自分に言い聞かせて眠りにつく。
  • 発症21日目:
    • ブラッドパッチを 10:30-10:50 に受けた。
      • T先生と看護師さん。そのまま病室で行った。うつ伏せで背中が湾曲するようにお腹にクッション。胸椎と腰椎に麻酔。麻酔は痛いが点滴の針を刺すのと同じ程度。まずは胸椎からブラッドパッチ。静脈からとった自分の血液を注入。背骨と肩甲骨が交わるところあたりに針を刺し注入。点滴針から自分の血を取って注入するらしいがもちろん見えない。針を刺したとき若干痛い。注入時は痛くないかなど様子を聞いてくれる。胸椎終了後に足の指をこっそり動かして何も異常はないことを確認。腰椎はRIをやったあたりから注入。先生の指示で看護師さんは僕の目をずっと観察していた。
      • ブラッドパッチ終了直後。起き上がって座るように言われる。頭が痛くならないか？と問われた。確かに痛くならない。血が固まるまで待つイメージだったのだが即効性があるとは知らなかった。成功して本当に良かった。いろいろな人の助けでこんなに早く治療してもらえたことは本当に幸運だった。
      • T先生術後のお言葉。あまり細かい症状は気にしないこと。もう治りましたよ。
    • 術後2時間経ったので食事とトイレ。立ったり歩いたり計25分。一切頭痛なし。頭痛の兆候すらなし。これは治ったね。泣ける。人生取り戻した！
    • 夕方傷口が痛むのでゆっくり。痛み止めをもらうほどではない。
    • 術後 10-14日はベッドで安静に、その後復職プランを相談しましょうと言われた。
  • 発症22日目:
    • 術部二ヶ所の痛みはかなり引いた。ゼロではないがすっと立ち上がれる。
    • 27分頭痛来ず。朝食や髭剃り、身支度できた。
    • 看護師さんの話
      • マッサージが原因でこの病気にになる人が多い。これを知ってから看護師さんはマッサージに行かなくなったらしい。
      • 発症から診断、治療まで1ヶ月以内というのはかなり珍しい。診断が早めにできたのがかなりラッキー。病気になったのはアンラッキーだがすごいラッキーなことらしい。運が悪いと心療内科にまわされ、心因性のものと診断されてしまうらしい。

発症23日目から35日目 自宅静養

術後2週間は自宅でベッドで静養。ここで油断しないようにひたすら寝る。

  • 発症23日目: 今日は点滴二本で午後に退院。T先生いわく。細かい小さな頭痛は気なさなくて良いとのこと。立ち上がると立ちくらみ。でも帰りのタクシーも全然平気だった。 発症24日目: ますます良くなった。まだ腰の痛みがあるかな。あと太った気がする。頭の痛みはほとんどない。
  • 発症25日目: 立ち上がったときのふらつきが減った気がする。
  • 発症26日目: 首の寝違えみたいな痛みもかなり減った。
  • 発症27日目: 首の寝違いみたいな痛みや、疲れ感も実は病気の症状でそれらが劇的に良くなってきた気がする。寝ていても疲れたりしない。まだ処置跡は重くて鈍い痛みがある。
  • 発症28日目: 処置跡以外は問題なし。と思ったが昼寝して目が覚めたらうっすら気持ち悪いような。気のせいのような。
  • 発症29日目: 朝目が覚めたらスッキリ。傷跡はまたうっすらと痛い。
  • 発症30日目: 頭は一切痛くない。ずっと寝ているので首肩の負担が高い。
  • 発症31日目: 頭痛くない。腰の傷口も痛くないかも。
  • 発症32日目: 腰と肩の痛みはかなり引いた。
  • 発症33日目: トイレに行くときもすっと立てる。１時間起きていても頭痛が来ない。
  • 発症34日目: 3時間寝ずに、起き上がってみる。快調である。ひょっとして治った？
  • 発症35日目: S病院でMRI・診察。先生から「治ったね！」とのお言葉。心配された合併症（脳の血腫）も見られず安心。1-3ヶ月かけて体力を戻していくようにとのこと。職場復帰は数日様子を見て体力が戻ってから。やったー。万歳！
    • ようやく起きて良い許可が出たので、職場に経過を連絡後。このブログをまとめた。

その後

  • 発症36日目: 昨夜首が痛くて目が覚める。朝には治ってた。姿勢の問題？
    • 近所のコンビニに歩いてみる。久しぶりの徒歩。体が重い。強歩大会の後半で足が棒になったときに似てる。ゆっくりなら歩ける。椅子に座ると背もたれのありがたみが分かる。
    • 結局起きてから寝るまで横になることはなく。起立性頭痛はなくなった。
    • 体力の衰えは否めない。
  • 発症37日目: 少しずつ日常へ。週明けに職場復帰をめざす。まずは近所の散歩から。

情報源

入院中はなるべく一次情報にあたるように病気について調べた。英語版 Wikipedia からリンクされている論文を読むのがおすすめ。

How to update existing dataset using Kaggle API

すでにある Kaggle dataset を API 経由で更新する方法。

% mkdir tf2-my-submission-dataset
% cd tf2-my-submission-dataset
% kaggle datasets metadata -p . higepon/tf2-my-submission
% kaggle datasets download  higepon/tf2-my-submission
% unzip  tf2-my-submission.zip

# Update one file
% cp ../out_dir/pytorch_model.bin .

# Update!
% kaggle datasets version -p . -m "Updates model.bin"

If you see KeyError: 'errorMessage' with API version 1.5.6. You need to use 1.5.4.

扁桃腺摘出手術を受けた

口蓋扁桃の摘出手術を受けて7日入院したときの記録。

手術を受けた理由

直接の引き金は先月初旬に扁桃腺炎で40度以上の熱を出し入院したこと。以前から1年に何度も扁桃腺炎になっていた。喉の痛みからはじまり高熱というパターン。最悪の場合は悪化して抗生剤点滴のため入院となる。年に1-2回入院していると思う。過去にも医師に摘出をすすめられたが出血などのリスクが怖くて断っていた。その代わり以下の予防に命をかけていた。

  • 頻繁なうがい。出社、帰宅時はもちろん。トイレで手を洗うときはうがいもする。
  • 通勤時のマスク。これは他者のくしゃみや咳からの予防目的ではない。マスクを付けていることで、自分の手が鼻や口などの粘膜に物理的に触れなくなる。つまり自分の汚い手からの感染を防ぐのが目的。
  • 睡眠
  • 加湿。家には加湿器が2台あり冬場はフル稼働である。
  • 喉の腫れや痛みを感じたらすぐに病院に行き、必要があれば抗生物質を処方してもらう。（今回はこれでも悪化してしまった）。

にも関わらず何度も扁桃腺炎になる。これが以下の2方面で辛かった。

虚弱問題

ネットで扁桃腺摘出体験ブログを読むと大体同じことが書いてある。手術後に、体感で風邪の引きやすさが 1/10 くらいになるらしい。また喉が痛くなる風邪を引いても2-3日でほぼ良くなる。「これが一般人の引く風邪なのか！」と思うらしい。そんなめぐまれた一般人の人たちから見ると、扁桃腺炎にかかってワンシーズンに1-2回。高熱で1週間くらい寝込む人たちは、虚弱体質に見える。もしくは本人の予防努力（もしくは気合）がたりないというレッテルを貼られてしまうのだ。また時には、完全に好意から謎の民間療法をすすめられたりする。これらは地味に辛い。

予定たてられない問題

いつ扁桃腺炎になるか分からないので予定を立てられない。もしくは予定を入れるのがとても不安。覚えているだけでも

  • 昨年の夏。息子とのキャンプの直前に入院。
  • 今年イタリア旅行の前に発熱。

などでやらかしている。家族や知人に迷惑をかけるのが怖くて色々断りがち。仕事の海外出張も怖い。「もし出張中に発症して悪化したら？」「アメリカの病院に行くの？」「入院したら法外なお金かかる」などの不安がつきまとう。その不安がストレスになり扁桃腺が腫れたこともあった。

手術と入院の記録

ツイートしていたものをそのまま貼っておく。

  • Day1: 麻酔科医と看護師さんの説明を受ける以外は今日は何もなし。看護師さんも口蓋扁桃とったらしい。痛いですよー😉と言われた。
  • Day2: 朝から手術。全身麻酔なので記憶なし。終了後3時間安静。痛さは扁桃炎マックスの時と同程度なので耐えられる。血の混じった痰をできるだけ優しく外に出すのが難しい。痛みと麻酔後なので夜までひたすら寝るのみ。同室で同じ手術を受けた人はもっと痛そう。
  • Day3:術後最初の食事。重湯、具なしコンソメスープ、牛乳、りんごジュース。喉の奥に違和感あるが意外と飲み込めるものだ。体調はかなり楽になったが、邦画を見るのはOKだが、もっと頭を使う洋画や読書はしんどい感じ。夜は痛みで寝られず痛み止めをもらった。まだ大きな声ではしゃべれない。
  • Day4:食事がお粥に。スパルタで焼き魚も。全ての薬が経口薬になり点滴とさようなら。術後はじめてシャワー気持ちよかった。矯正のリテーナを長めにつける。英語コンテンツも見られるくらい良くなった。まだ飲み込むと痛い。唾液に血が混らなくなった。家族がお見舞いに来てくれた。ありがたい。アメリカの友人や同僚に「扁桃腺手術ならアイスを食え」と言われたので実践。確かに患部周辺がひんやりして気持ちいい。
  • Day5:食事がお粥から通常のご飯へ。喉の痛みも気持ち穏やかに。読書をする余裕が出てきた。メモの魔力読み中。Switchのウィッチャー3プレイ中。良い意味でリアルなお使いゲーム。さすがに暇なので洗濯して衣類をきれいにたたむなど時間つぶし。この時期に出血のリスクがあるので油断せずに休まないと。
  • Day6:喉の痛さや違和感以外は、全て正常になったように感じる。喉の奥のかさぶたが自然に優しく剥がれれば吉。運悪く一気に剥がれると出血→再手術。というようなことがおきやすいのが今日明日らしい😬。安静にする。そういえば新しいスマホのセットアップは時間をつぶせてよかった。
  • Day7:喉の痛みがさらに良くなった。痛み止めを飲まなくても食事ができる。予定では明日か明後日退院。シャバに出ても運動や固い食べ物などは禁止。
  • Day8:無事退院🎉

追記2020年5月

その後どうなったか。 - 術後の喉の違和感は完全になくなった。つっぱる感じや痛みもない。もちろん出血もない。 - 一度も高熱をだしていない。ただしコロナのせいで家にいたのも大きいと思う。 - 喉が痛かったことは2回あった。ちょっとした痛みで翌日にはなくなっていた（以前なら扁桃腺炎コースだと思う） - 咳、鼻水をともなう風邪はまだ一度もひいてない。

IEEE-CIS Fraud Detection コンペ反省会

IEEE-CIS Fraud Detection コンペに参加。チームとして銀メダルをとりめでたく Kaggle Expert になった。コンペは名前の通り Credit Card のトランザクションを fraud or not に分類するもの。

時系列

  • Table コンペだが Time Series データなのに不安を覚えつつ EDA 。いくつか EDA カーネルを見る。
  • Local CV どうしようかまよったが、まずは KFold で End to End モデルパイプラインを作った。LightGBM。
  • 最初の End to end モデルは動けばよいの categorical features は無視して数値データのみで。
  • KFold の Local CV データを眺めながら label encode するなど。must 的なものをやる。
  • 某氏とチームを組む。初心者と言っていたがみるみる着実に歩を進めるので尊敬しかない。
  • 某コンペ時に count encoding を知らず。「モデルにはそのままだと count 見えないのよ」というありがたいスレッドで勉強になった教訓。それを踏まえて count feature の EDA を意識的にやっていた。
  • 自分で1から作っていたカーネルがいまいち伸び悩んでいたので、public kernel を fork して自分の学びを足す方向で進めた。結果的にこの判断は正しかった。
  • 同額の TransactionAmt の count encoding などをあれこれ EDA しつつためす。このころ 0.94 は 0.93 付近？
  • チームマージ
  • チームマージで似たようなスコアだけど、全く出自（feature engineering) が違うモデルが増えた。
  • チームの誰も手を出してなかった NN モデルを Torch でササッと書いた。過去の経験から GB よりスコアが劣るのはわかっていたが Ensemble で効果があるので。
  • GMEAN of low correlation カーネルでチームの submissions を ensemble してみたら一気に銅メダル圏内。
  • GMEAN of low correlation カーネルをちゃんと読み込んできちんと適用したら銀メダル圏内に到達。
  • 最終日まではあたらしい feature ためす。スコア上がったら Ensemble の繰り返しだった。
  • Final submissions は shake up/down が怖かったが、チームで相談して best score kernels とした

ほか

  • 自分の記録を kibela から Google Docs に移行した。理由は markdown を書くのが面倒になったから。あとどのデバイスからでもかんたんにアクセスできるから。
  • 途中の GPU 制限には本当に困った。
  • seaborn の勉強をしたことで EDA 苦手意識がかなりへった。やはり美しく表示されるとうれしい。
  • 上とすこし矛盾するけど。汚いコードでもいいからグラフを書いて、学びを得る。そのコードは捨てるが学びはとる。お気楽姿勢にして気が楽になった。
  • kaggle api 使って git でコード管理するのを後半から導入して大変良かった。
  • feather で特徴管理みたいなのは、まだ僕のレベルでいらないかも。

さあ Master めざす？

APTOS 2019 Blindness Detection コンペ反省会

失明にいたる病気を眼の画像から判定する（5段階）コンペ。初めての画像コンペ。画像コンペでは大きくマシンリソースを使うというイメージで敬遠していたがそこまでもなかった。チームで挑み結果は804/2987。public から375もランクダウン。Shake up の原因と対策はあとでまとめる。

学び

PyTorch

コンペの途中で Keras が deterministic results を出してくれないことに悩み PyTorch にスイッチ。PyTorch 公式のチュートリアルを写経するだけで十分だった。以前から PyTorch カーネルを読み込んでいて一番気になったのが train 時に back prop の伝播の一部を明示的に書かないといけないこと。やってみたらそれほど気にならなかった。それよりも PyTorch API と画像コンペとの相性のよさが際立っていた。これまで Tensorflow -> Keras -> PyTorch と流れてきたが PyTorch がちょうどよい。Define by Run も気軽で良い

ただ気になっていたのが高 Score Kernel が fast.ai で書かれていたことだ。次の波が来ている？

Augmentation

CNN などでの画像分類において training data が少ない場合に argumentation が効く。という教科書的な知識はもちろん知っていたが。どう apply するのか全くわからず困惑した。rotation の角度の範囲は？horizontal/vertical flip が起こる確率はいくつが良いのか？ augmentation は組み合わせるもの？単体で使うもの？ training epochs への影響は？など分からないまま後半に突入してしまった。上位カーネルで勉強したいところ。

4th solution によれば

Augmentations We used a lot of augmentations, at least more than I ever used before :) All from the wonderful albumentations library: Blur, Flip, RandomBrightnessContrast, ShiftScaleRotate, ElasticTransform, Transpose, GridDistortion, HueSaturationValue, CLAHE, CoarseDropout. とのことだったので知識も手数も足りなかった模様。

Ensemble

Ensemble が手元でほとんど効かなくて困惑した。まだ原因がわかっていない。

チーム

チームでやってみて良かったのは、各人の「やって当たり前」の前提が違うこと。例えば D 氏はとりあえず論文をいくつか読んだから実装してみる。と言って僕を驚かせた。自分は Discussion 読んで Kernel を書いて手を動かしがちなのとは対象的だ。M氏はクラウドリソースを用意してくれて、それがいかに素晴らしいものか教えてくれた。何度作業効率の上がることか。あとチーム内で最高スコアのカーネルをぱっと出してくれたのも M 氏である。コミュニケーションはまだまだ課題があると思った。チーム doc を用意したが最低限しか機能してなかったように思う。

コミュニティへの貢献

このコンペは submission がコケたときにヒントが少なすぎるという問題があって多くの人がハマっていた。How to debug "Kernel Threw Exception" with binary search というトピックでデバッグ方法を書いたら評判が良く、コンペ運営側の目にもとまって紹介されたのは良かった。上位ランカーがどこかで書いていたが、コミュニティーに自分の学びを共有すると結果的に自分が成長するということがよくあるらしいのでがんばりたい（因果関係かどうかはわからないけど）

反省

いまだに自分の時間をどう配分するかに迷いがある。順位が振るわないので改善の余地があるのだと思う。自分の書いたカーネルにこだわりすぎたのは本当に良くない。public kernel を少し改造しただけのもののほうが Score が良かった。時間のなさを言い訳にしたくなるが Neuron Engineer 氏は3歳のお子さんがいるらしいので。

pseudo-labeling を学ぼう。

top solution からのメモ

  • pseudo labeling
  • Downsampling
  • (480, 600) など。各種データサイズを試している。

```` Compose([ BensCrop(img_size), #from 2015 solution RandomHorizontalFlip(), RandomVerticalFlip(), RandomRotation*1, ), ])

for EfficientNet B5 Compose([ Resize(img_size), HorizontalFlip(), VerticalFlip(), Rotate(), RandomContrast(0.5), IAAAdditiveGaussianNoise(p=0.25), ]) ````

train_transform = transforms.Compose([ transforms.ColorJitter(brightness=0.45, contrast=0.45), transforms.RandomAffine(degrees=360, scale=(1.0, 1.3)), transforms.RandomHorizontalFlip(), transforms.RandomVerticalFlip(), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])

*1:-120, 120

Jigsaw Unintended Bias in Toxicity Classification 記録 - Kaggle

Jigsaw Unintended Bias in Toxicity Classification | Kaggle に取り組んだときの感想。コンペは終了していないが submission の受付が完了。ランキング発表を待つだけなので忘れないうちにメモを残す。

過去に経験のある text の classification 系。LSTM, GRU などがすぐに解法として浮かぶ。今回は benchmark となるカーネルが公開されていたので、そのカーネルにスコアで並ぶまでは discussions / kernels を見ないと決めて取り組んだ（＝他人の解法やヒントを見ずにある程度自分だけで進める）。これは良い決断だったと思う。また kibela に自分しか見られないメモを書いてスコアや進捗を管理した。kernel の stdout も kibela に貼ることを前提の format とした。

時系列

  1. 過去に書き溜めたコードから end to end で動くカーネルを作る
  2. text preprocessing と model の両方から benchmark カーネルに少しずつ近づく
  3. benchmark kernel に追いついたあとは discussions / kernels を丁寧に読みはじめる
  4. target だけではなく別の指標もモデルの output ととして training する multi output モデルに感心。勉強になった。
  5. トレーニング時間を短くするために任意長の text を input として使えるようにモデルを修正。keras の fit_generator で動かすのに苦労する。苦労が報われてかなり短縮。
  6. この時点で keras よりも torch の方を使う kernel が多くやきもきした。時間がないので torch はこのコンペでは追わないことを決断。
  7. public kernel の best score が超えられなかったので自分の実装を捨てて keras best score カーネルをもとに改善していくことに。
  8. 細かい改善で向上するが決め手にならず。
  9. 期日が近づき始めたので training と prediction の kernel を分けることに。embedding を model save/restore に含めない部分が初めてだったので慎重に実装。
  10. ↑で model restore が簡単になったので ensemble に着手。LSTM, GRU ベースの model を average するだけでスコア向上。
  11. 無視していた bert に着手。例の vanila kernel を理解して training 時間の短縮などに取り組み。LSTM model より高スコアに。fine tuning するだけであっというまに LSTM モデル超え。
  12. ensemble すると一気にスコアが向上
  13. Stacking を試してみたが prediction にそれなりに時間がかかるわりにスコアは上がらず。xgboost のチューニングの問題かもしれない。
  14. XlNet が出たが流石に間に合わないだろうと諦め。
  15. そうこうしているうちにタイムオーバー。最高スコアのものを 2 つ提出した。

どうやったらもっと上に行けたか？

  • チームを組む（これは作戦を考え中）
  • 各入力の loss weight の深掘り。

結果

  • 288/3,167 in public LB
  • 最終結果はまだ未確定