higepon blog
higepon blog
Subscribe

higepon blog

この広告は、90日以上更新していないブログに表示しています。

2011-06-18

文字列の内部エンコーディングが UTF32で困る場面

自然言語処理で英文コーパスを大量に読み込むときとか。UTF8 と比べて 4 倍のメモリを食う。これは痛い。(実際に Mosh でこれに出くわした)
でも例えば Web でありがちなテンプレートくらいの大きさなら全く問題ない。

higepon 2011-06-18 22:39 Subscribe

Bookmark this entry on Hatena::Bookmark
Remove all ads
  • Read more
Write a comment
« GUIのテスト難しい AFN 2010 - 87 »
Profile
id:higepon id:higepon
Subscribed unsubscribe Subscribe Subscribe
About this blog
Search
Links
  • Hatena Blog
  • ブログをはじめる
  • Weekly Hatena Blog
  • Hatena Blog Pro
Recent Entries
  • 2022年振り返り
  • How GC in unsafe loxido works
  • Finalize, Sweep and Rooting - Understanding Rust GC
  • Trace - Understanding Rust GC
  • Mosh compiler/VM のデバッグを1週間続けた話
Archive
  • ▼ ▶
    2022
    • 2022 / 12
    • 2022 / 10
    • 2022 / 9
    • 2022 / 8
  • ▼ ▶
    2021
    • 2021 / 12
    • 2021 / 5
    • 2021 / 4
    • 2021 / 1
  • ▼ ▶
    2020
    • 2020 / 12
    • 2020 / 11
    • 2020 / 9
    • 2020 / 8
    • 2020 / 7
    • 2020 / 6
    • 2020 / 3
    • 2020 / 2
  • ▼ ▶
    2019
    • 2019 / 12
    • 2019 / 11
    • 2019 / 10
    • 2019 / 9
    • 2019 / 7
    • 2019 / 6
    • 2019 / 5
    • 2019 / 4
    • 2019 / 2
  • ▼ ▶
    2018
    • 2018 / 12
    • 2018 / 11
    • 2018 / 8
    • 2018 / 6
    • 2018 / 5
    • 2018 / 3
    • 2018 / 2
    • 2018 / 1
  • ▼ ▶
    2017
    • 2017 / 12
    • 2017 / 11
    • 2017 / 8
    • 2017 / 7
    • 2017 / 6
    • 2017 / 5
    • 2017 / 4
    • 2017 / 3
    • 2017 / 2
    • 2017 / 1
  • ▼ ▶
    2016
    • 2016 / 6
    • 2016 / 4
    • 2016 / 3
    • 2016 / 2
    • 2016 / 1
  • ▼ ▶
    2015
    • 2015 / 10
    • 2015 / 9
    • 2015 / 8
    • 2015 / 7
    • 2015 / 6
    • 2015 / 5
    • 2015 / 4
    • 2015 / 1
  • ▼ ▶
    2014
    • 2014 / 12
    • 2014 / 10
    • 2014 / 9
    • 2014 / 8
    • 2014 / 7
    • 2014 / 6
    • 2014 / 5
    • 2014 / 4
    • 2014 / 3
    • 2014 / 2
    • 2014 / 1
  • ▼ ▶
    2013
    • 2013 / 12
    • 2013 / 11
    • 2013 / 10
    • 2013 / 9
    • 2013 / 8
    • 2013 / 7
    • 2013 / 6
    • 2013 / 5
    • 2013 / 4
    • 2013 / 3
    • 2013 / 2
    • 2013 / 1
  • ▼ ▶
    2012
    • 2012 / 12
    • 2012 / 11
    • 2012 / 10
    • 2012 / 9
    • 2012 / 8
    • 2012 / 7
    • 2012 / 6
    • 2012 / 5
    • 2012 / 4
    • 2012 / 3
    • 2012 / 2
    • 2012 / 1
  • ▼ ▶
    2011
    • 2011 / 12
    • 2011 / 11
    • 2011 / 10
    • 2011 / 9
    • 2011 / 8
    • 2011 / 7
    • 2011 / 6
    • 2011 / 5
    • 2011 / 4
    • 2011 / 3
    • 2011 / 2
    • 2011 / 1
  • ▼ ▶
    2010
    • 2010 / 12
    • 2010 / 11
    • 2010 / 10
    • 2010 / 9
    • 2010 / 8
    • 2010 / 7
    • 2010 / 6
    • 2010 / 5
    • 2010 / 4
    • 2010 / 3
    • 2010 / 2
    • 2010 / 1
  • ▼ ▶
    2009
    • 2009 / 12
    • 2009 / 11
    • 2009 / 10
    • 2009 / 9
    • 2009 / 8
    • 2009 / 7
    • 2009 / 6
    • 2009 / 5
    • 2009 / 4
    • 2009 / 3
    • 2009 / 2
    • 2009 / 1
  • ▼ ▶
    2008
    • 2008 / 12
    • 2008 / 11
    • 2008 / 10
    • 2008 / 9
    • 2008 / 8
    • 2008 / 7
    • 2008 / 6
    • 2008 / 5
    • 2008 / 4
    • 2008 / 3
    • 2008 / 2
    • 2008 / 1
  • ▼ ▶
    2007
    • 2007 / 12
    • 2007 / 11
    • 2007 / 10
    • 2007 / 9
    • 2007 / 8
    • 2007 / 7
    • 2007 / 6
    • 2007 / 5
    • 2007 / 4
    • 2007 / 3
    • 2007 / 2
    • 2007 / 1
  • ▼ ▶
    2006
    • 2006 / 12
    • 2006 / 11
    • 2006 / 10
    • 2006 / 9
    • 2006 / 8
    • 2006 / 7
    • 2006 / 6
    • 2006 / 5
    • 2006 / 4
    • 2006 / 3
    • 2006 / 2
    • 2006 / 1
  • ▼ ▶
    2005
    • 2005 / 12
    • 2005 / 11
    • 2005 / 10
    • 2005 / 9
    • 2005 / 8
    • 2005 / 7
    • 2005 / 6
    • 2005 / 5
    • 2005 / 4
    • 2005 / 3
    • 2005 / 2
    • 2005 / 1
  • ▼ ▶
    2004
    • 2004 / 12
    • 2004 / 11
    • 2004 / 10
    • 2004 / 9
    • 2004 / 8
  • ▼ ▶
    1977
    • 1977 / 5
  • ▼ ▶
    1970
    • 1970 / 1

Start using Hatena Blog!

higepon is using Hatena Blog. Would you like to try it too?

Start using Hatena Blog (Free)
What is Hatena Blog?
higepon blog higepon blog

Powered by Hatena Blog | ブログを報告する

Quote saved.

Login to quote this blog

Failed to save quote. Please try again later.

You cannot quote because this article is private.

Subscribed unsubscribe Subscribe Subscribe