Shinsuke Sugaya
shins****@yahoo*****
2010年 3月 18日 (木) 18:31:58 JST
菅谷です。 > 多少トータルのクロール時間が長くなったとしても、放ってお > ける方が運用上は楽です。 今後の課題として対策を考えます。 > IndexUpdaterのupdateInterval(現状は1分間隔)をもっと短い時間に設定すれば > よいのかなという気がしていますが、この認識は正しいでしょうか？ 間隔を短くしてもあまり変わらないと思います。 Fess ではパフォーマンスを上げるために、Solr に 対して、一回のリクエストで 10 ドキュメントを 送信します。一つあたりのドキュメントサイズが 大きい場合は、1リクエストあたりの送信する ドキュメント数を下げるのが有効かと思います。 一度に送信するドキュメント数の設定は webapps/fess/WEB-INF/cmd/resources/app.dicon のmaxDocumentCacheSizeになります。 コメントアウトから外して、値を下げると 良いかと思います。 よろしくお願いします。 shinsuke 2010年3月18日13:12 Yoshimitsu Aoyagi <y-aoy****@hitac*****>: > 菅谷様、 > > スレッドを変えた方がよいのかもしれませんが、ヒープのOutOfMemoryを回避する > のに有効な設定はないものでしょうか。一度これが発生するともう一度やり直す > 必要が生じます。多少トータルのクロール時間が長くなったとしても、放ってお > ける方が運用上は楽です。 > > IndexUpdaterのupdateInterval(現状は1分間隔)をもっと短い時間に設定すれば > よいのかなという気がしていますが、この認識は正しいでしょうか？ > > ＃ちなみに、現状、zipやlzhなど圧縮ファイルが格納されているバックアップフォ > ＃ルダをクロール中にOutOfMemoryが発生する傾向があります。 > > > 青柳＠日立ソフト > > > On Thu, 18 Mar 2010 10:09:55 +0900 > Shinsuke Sugaya <shins****@yahoo*****> wrote: > >> 菅谷です。 >> >> 確認いただきありがとうございます。 >> >> > あと、現状の仕様だとIndexUpdaterがterminateされるても >> > クローリング処理はそのまま継続します。 >> >> IndexUpdaterが死んでしまった場合はクロールしている >> スレッドたちに終了通知がされて、そのうちクロールも >> そのうち(数分後くらい?) 終了することを想定してます。 >> 継続しているとなると、カバーできていない処理フローが >> ある可能性もあるので、調査してみます。 >> >> > ＃レジューム機能があるともっとうれしいですね。 >> >> 内部で使っている S2Robot 自体はレジューム可能なの >> ですが、Fess でクロールが終わったときにデータを >> 消しているので(パフォーマンス向上のため)、そこら辺を >> 見直して考えてみます。 >> >> よろしくお願いいたします。 >> >> 菅谷 >> >> 2010年3月18日9:53 Yoshimitsu Aoyagi <y-aoy****@hitac*****>: >> > 菅谷様 >> > >> > 青柳＠日立ソフトです。 >> > >> > 返事が遅れてしまいすいませんでした。 >> > 以下、設定が反映されていることを確認しました。 >> > >> > fess.dicon、setenv.shとも1024mでしばらく動かしてみます。 >> > >> > あと、現状の仕様だとIndexUpdaterがterminateされるても >> > クローリング処理はそのまま継続します。これだと、ログを >> > 見るまでterminateされたことを気付かないので、IndexUpdater >> > のスレッドをポーリングしてterminateされたらクローリング >> > 処理も停止する機能があるとうれしいです。 >> > ＃レジューム機能があるともっとうれしいですね。 >> > >> > >> > On Mon, 15 Mar 2010 14:38:50 +0900 >> > Shinsuke Sugaya <shins****@yahoo*****> wrote: >> > >> >> 菅谷です。 >> >> >> >> ドキュメントが追いついていなくてすいません…。 >> >> >> >> クローラの方の JVM パラメータは >> >> webapps/WEB-INF/classes/fess.dicon >> >> で定義されています。crawlerJavaOptionsの >> >> コメントアウトを外して、変更していただければ >> >> 反映されます。 >> >> >> >> > IndexUpdaterがエラーで終了する場合はクローラープロセスのメモリを >> >> > 増やした方が良い気がするのですが、この認識で良いでしょうか？ >> >> >> >> はい。ヒープのOutOfMemoryになったら上げて >> >> 試すのが良いと考えています。クローラの方で >> >> OutOfMemory になると、大きなサイズのドキュメントが >> >> Solr に投入されることになると思うので、 >> >> setenv.[sh|bat] の方も上げておく必要があると >> >> 思います(Solrの方でOutOfMemoryになるため)。 >> >> >> >> よろしくお願いいたします。 >> >> >> >> # Fessはまたどこかで話したいとは思って >> >> # いますのでその際にはぜひ。 >> >> >> >> shinsuke >> >> >> >> >> >> >> >> 2010年3月15日13:35 Yoshimitsu Aoyagi <y-aoy****@hitac*****>: >> >> > 菅谷様 >> >> > >> >> > 青柳＠日立ソフトです。 >> >> > >> >> > １つ質問があります。 >> >> > >> >> > java.lang.OutOfMemoryError: Java heap space >> >> > が発生した場合はbin/setenv.[sh|bat] に -Xmx1024m のように変更する、とあります。 >> >> > >> >> > この設定を行なうと、通常のプロセスは"-Xmx1024m"が反映されるのですが、 >> >> > クローラープロセスは別途-Xmx512m固定で起動されます。 >> >> > （SystemHelper.javaのcrawlerJavaOptionsを"-Xmx512m"でnewする） >> >> > >> >> > IndexUpdaterがエラーで終了する場合はクローラープロセスのメモリを >> >> > 増やした方が良い気がするのですが、この認識で良いでしょうか？ >> >> > また、メモリの変更を行なう設定方法があったら教えてください。 >> >> > >> >> > よろしくお願いします。 >> >> > >> >> > >> >> > ＃先日のSolr勉強会はお疲れ様でした。 >> >> > ＃挨拶しそびれてしまいちょっと残念です。 >> >> > ＃また次の機会があればよろしくお願いします。 >> >> > >> >> > _______________________________________________ >> >> > Fess-user mailing list >> >> > Fess-****@lists***** >> >> > http://lists.sourceforge.jp/mailman/listinfo/fess-user >> >> > >> >> >> >> _______________________________________________ >> >> Fess-user mailing list >> >> Fess-****@lists***** >> >> http://lists.sourceforge.jp/mailman/listinfo/fess-user >> > >> > _______________________________________________ >> > Fess-user mailing list >> > Fess-****@lists***** >> > http://lists.sourceforge.jp/mailman/listinfo/fess-user >> > >> >> _______________________________________________ >> Fess-user mailing list >> Fess-****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/fess-user > > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user >
