NOKUBI Takatsugu
knok****@daion*****
2006年 5月 19日 (金) 14:55:12 JST
野首です。以前CRFパラメータ学習に関して質問のメールをしてから、いま だその問題と格闘しています。 64bit環境も用意できたのでいろいろと試しているのですが、素性の全て(正 確にいえば読み)も含めてできるだけ正しい値を出してほしいので、 eval-size, unk-eval-sizeを8として学習をさせてみています。 このときに気づいたのですが、eval-sizeを増やすとメモリの増えかたがず いぶんかわるような気がします。最初は2でやっていたので、なんとか64bit環 境で実メモリ4GB+スワップ6GBでなんとか分割せず学習できそうな感じだった のですが、eval-sizeを増やすと数千センテンスのコーパスを読み込んだとこ ろでメモリがもういっぱいになってしまうようです。 同じことを32bit環境でさせてみると、メモリの使われかたがもっと少ない 感じなので、とりあえず分割して32bit環境で現在学習を進めているという状 況です。 まだソースをきちんとみていないのですが、やはり64bit環境だとメモリの 消費のしかたもちがうのでしょうか。 -- 野首 貴嗣 E-mail: knok****@daion***** knok****@namaz***** / knok****@debia*****
