Yoshimitsu Aoyagi
y-aoy****@hitac*****
2010年 3月 18日 (木) 13:12:53 JST
菅谷様、 スレッドを変えた方がよいのかもしれませんが、ヒープのOutOfMemoryを回避する のに有効な設定はないものでしょうか。一度これが発生するともう一度やり直す 必要が生じます。多少トータルのクロール時間が長くなったとしても、放ってお ける方が運用上は楽です。 IndexUpdaterのupdateInterval(現状は1分間隔)をもっと短い時間に設定すれば よいのかなという気がしていますが、この認識は正しいでしょうか？ ＃ちなみに、現状、zipやlzhなど圧縮ファイルが格納されているバックアップフォ ＃ルダをクロール中にOutOfMemoryが発生する傾向があります。 青柳＠日立ソフト On Thu, 18 Mar 2010 10:09:55 +0900 Shinsuke Sugaya <shins****@yahoo*****> wrote: > 菅谷です。 > > 確認いただきありがとうございます。 > > > あと、現状の仕様だとIndexUpdaterがterminateされるても > > クローリング処理はそのまま継続します。 > > IndexUpdaterが死んでしまった場合はクロールしている > スレッドたちに終了通知がされて、そのうちクロールも > そのうち(数分後くらい?) 終了することを想定してます。 > 継続しているとなると、カバーできていない処理フローが > ある可能性もあるので、調査してみます。 > > > ＃レジューム機能があるともっとうれしいですね。 > > 内部で使っている S2Robot 自体はレジューム可能なの > ですが、Fess でクロールが終わったときにデータを > 消しているので(パフォーマンス向上のため)、そこら辺を > 見直して考えてみます。 > > よろしくお願いいたします。 > > 菅谷 > > 2010年3月18日9:53 Yoshimitsu Aoyagi <y-aoy****@hitac*****>: > > 菅谷様 > > > > 青柳＠日立ソフトです。 > > > > 返事が遅れてしまいすいませんでした。 > > 以下、設定が反映されていることを確認しました。 > > > > fess.dicon、setenv.shとも1024mでしばらく動かしてみます。 > > > > あと、現状の仕様だとIndexUpdaterがterminateされるても > > クローリング処理はそのまま継続します。これだと、ログを > > 見るまでterminateされたことを気付かないので、IndexUpdater > > のスレッドをポーリングしてterminateされたらクローリング > > 処理も停止する機能があるとうれしいです。 > > ＃レジューム機能があるともっとうれしいですね。 > > > > > > On Mon, 15 Mar 2010 14:38:50 +0900 > > Shinsuke Sugaya <shins****@yahoo*****> wrote: > > > >> 菅谷です。 > >> > >> ドキュメントが追いついていなくてすいません…。 > >> > >> クローラの方の JVM パラメータは > >> webapps/WEB-INF/classes/fess.dicon > >> で定義されています。crawlerJavaOptionsの > >> コメントアウトを外して、変更していただければ > >> 反映されます。 > >> > >> > IndexUpdaterがエラーで終了する場合はクローラープロセスのメモリを > >> > 増やした方が良い気がするのですが、この認識で良いでしょうか？ > >> > >> はい。ヒープのOutOfMemoryになったら上げて > >> 試すのが良いと考えています。クローラの方で > >> OutOfMemory になると、大きなサイズのドキュメントが > >> Solr に投入されることになると思うので、 > >> setenv.[sh|bat] の方も上げておく必要があると > >> 思います(Solrの方でOutOfMemoryになるため)。 > >> > >> よろしくお願いいたします。 > >> > >> # Fessはまたどこかで話したいとは思って > >> # いますのでその際にはぜひ。 > >> > >> shinsuke > >> > >> > >> > >> 2010年3月15日13:35 Yoshimitsu Aoyagi <y-aoy****@hitac*****>: > >> > 菅谷様 > >> > > >> > 青柳＠日立ソフトです。 > >> > > >> > １つ質問があります。 > >> > > >> > java.lang.OutOfMemoryError: Java heap space > >> > が発生した場合はbin/setenv.[sh|bat] に -Xmx1024m のように変更する、とあります。 > >> > > >> > この設定を行なうと、通常のプロセスは"-Xmx1024m"が反映されるのですが、 > >> > クローラープロセスは別途-Xmx512m固定で起動されます。 > >> > （SystemHelper.javaのcrawlerJavaOptionsを"-Xmx512m"でnewする） > >> > > >> > IndexUpdaterがエラーで終了する場合はクローラープロセスのメモリを > >> > 増やした方が良い気がするのですが、この認識で良いでしょうか？ > >> > また、メモリの変更を行なう設定方法があったら教えてください。 > >> > > >> > よろしくお願いします。 > >> > > >> > > >> > ＃先日のSolr勉強会はお疲れ様でした。 > >> > ＃挨拶しそびれてしまいちょっと残念です。 > >> > ＃また次の機会があればよろしくお願いします。 > >> > > >> > _______________________________________________ > >> > Fess-user mailing list > >> > Fess-****@lists***** > >> > http://lists.sourceforge.jp/mailman/listinfo/fess-user > >> > > >> > >> _______________________________________________ > >> Fess-user mailing list > >> Fess-****@lists***** > >> http://lists.sourceforge.jp/mailman/listinfo/fess-user > > > > _______________________________________________ > > Fess-user mailing list > > Fess-****@lists***** > > http://lists.sourceforge.jp/mailman/listinfo/fess-user > > > > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user
