Git リポジトリの特定のディレクトリ以下のみを新しいリポジトリにする

自分は ~/higepon に雑多なスクリプトとかを入れて Git で管理しているのだけど、小さいプロジェクトのつもりが思ったよりも大きくなってしまう事があった。そのプロジェクだけ別レポジトリにする方法を見つけたので紹介。
~nabeken/diary/ : Gitリポジトリの特定のディレクトリ以下のみを含んだ新しいリポジトリを作成する

新しめの Git が必要なので注意。

追記

id:jch2355 さんに教えていただきました。
git-filter-branch(1) というものでやるのが良いようです。