From shinsuke @ yahoo.co.jp Fri Dec 27 09:27:31 2013 From: shinsuke @ yahoo.co.jp (Shinsuke Sugaya) Date: Fri, 27 Dec 2013 09:27:31 +0900 Subject: [fess-user 804] Re: =?iso-2022-jp?b?GyRCJS8lbSE8JWolcyUwJCxFU0NmJEc7XyReJEMbKEI=?= =?iso-2022-jp?b?GyRCJEYkNyReJCZMZEJqJEskRCQkJEYbKEI=?= Message-ID: 菅谷です。 (スパム防止のため、送信にはFessのMLへの登録が必要になります) > 「emptyListCount is over 60.」という 上記が発生する場合は、クロール対象からのレスポンスが 返ってこないまたはクロールが完了できないようなファイルが 存在する状況になります。このような状況の時はfess_crawler.outから 問題となるファイル等を確認していただいて、クロール対象からの 除外等をして頂く必要があるかと思います。 通常はクロールできないようなものは例外をはいて、次の対象に 進むのですが、ネットワーク的な理由やまれに何かしらのファイル 操作系のバグを踏むようなファイルがあったりすると、処理待ち状態に なるものはあるかと思います。 よろしくお願いいたします。 shinsuke 2013年12月26日 10:06 > To: > Date: Thu, 26 Dec 2013 10:05:57 +0900 > Subject: クローリングが途中で止まってしまう問題について > お世話になっております。 > 大岡と申します。 > > 社内のファイルサーバを検索するために > FESSを使わせて頂いてます。 > > FESSのバージョンは8.0.0です。 > クローリング処理が毎回 > 「emptyListCount is over 60.」という > メッセージとともに途中で止まってしまいます。 > この問題を回避する方法はありますでしょうか? > > ファイルサーバのファイル数はおよそ数千万あり、 > 毎日100件程度のファイルが更新されていて、 > それらの更新を拾うべく毎晩差分クローリングを走らせています。 > > どうやら差分クローリングの途中で > 更新されていないファイルがずっと続くと > 「emptyListCount is over 60.」というメッセージが出て > クローリングが途中終了してしまうようです。 > > また、途中終了処理も完全ではないようで、 > クローラープロセスは動き続けていて、 > そのままでは次の日のクローリングが開始せず、 > 毎日管理画面から「クロールの停止」ボタンをクリックして > クローラープロセスを停止させています。 > > 設定の変更等で最後までクローリングをする事は可能になりますか? > > それでは、よろしくお願いします。 > > From shinsuke @ yahoo.co.jp Fri Dec 27 10:38:39 2013 From: shinsuke @ yahoo.co.jp (Shinsuke Sugaya) Date: Fri, 27 Dec 2013 10:38:39 +0900 Subject: [fess-user 805] Re: =?iso-2022-jp?b?GyRCJS8lbSE8JWolcyUwJCxFU0NmJEc7XyReJEMbKEI=?= =?iso-2022-jp?b?GyRCJEYkNyReJCZMZEJqJEskRCQkJEYbKEI=?= Message-ID: 菅谷です。 fess_crawler.outは 2013-11-30 16:35:26,127 [Robot-20131130163509-1-2] INFO org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: http://fess.codelibs.org/ja/3.0/config/tokenizer.html という感じでクロール開始時に出力されていると 思いますが、各スレッドごとに Robot-20131130163509-1-2 のような名前が振られています。 fess_crawler.outの最後から各スレッドが最後に 何をクロールしようとしていたかを確認することが できるかと思います。 あとは、jstackとかでスタックダンプして、 スレッド名とスタックの内容を突き合わせると 問題の判別に近づけるかと思います。 よろしくお願いいたします。 shinsuke 2013年12月27日 10:25 : > 菅谷様。 > お世話になっております。大岡です。 > >> 問題となるファイル等を確認していただいて、クロール対象からの >> 除外等をして頂く必要があるかと思います。 > 問題となるファイルの確認方法は > どのようにすればいいのか教えて頂けないでしょうか? > 例外が表示されないならfess_crawler.outから > どうやって見つければいいのかわかりません。 > > それでは、よろしくお願いします。 > > ----- Original Message ----- >> 菅谷です。 >> >> (スパム防止のため、送信にはFessのMLへの登録が必要になります) >> >> > 「emptyListCount is over 60.」という >> >> 上記が発生する場合は、クロール対象からのレスポンスが >> 返ってこないまたはクロールが完了できないようなファイルが >> 存在する状況になります。このような状況の時はfess_crawler.outから >> 問題となるファイル等を確認していただいて、クロール対象からの >> 除外等をして頂く必要があるかと思います。 >> >> 通常はクロールできないようなものは例外をはいて、次の対象に >> 進むのですが、ネットワーク的な理由やまれに何かしらのファイル >> 操作系のバグを踏むようなファイルがあったりすると、処理待ち状態に >> なるものはあるかと思います。 >> >> よろしくお願いいたします。 >> >> shinsuke >> >> >> 2013年12月26日 10:06 >> > To: >> > Date: Thu, 26 Dec 2013 10:05:57 +0900 >> > Subject: クローリングが途中で止まってしまう問題について >> > お世話になっております。 >> > 大岡と申します。 >> > >> > 社内のファイルサーバを検索するために >> > FESSを使わせて頂いてます。 >> > >> > FESSのバージョンは8.0.0です。 >> > クローリング処理が毎回 >> > 「emptyListCount is over 60.」という >> > メッセージとともに途中で止まってしまいます。 >> > この問題を回避する方法はありますでしょうか? >> > >> > ファイルサーバのファイル数はおよそ数千万あり、 >> > 毎日100件程度のファイルが更新されていて、 >> > それらの更新を拾うべく毎晩差分クローリングを走らせています。 >> > >> > どうやら差分クローリングの途中で >> > 更新されていないファイルがずっと続くと >> > 「emptyListCount is over 60.」というメッセージが出て >> > クローリングが途中終了してしまうようです。 >> > >> > また、途中終了処理も完全ではないようで、 >> > クローラープロセスは動き続けていて、 >> > そのままでは次の日のクローリングが開始せず、 >> > 毎日管理画面から「クロールの停止」ボタンをクリックして >> > クローラープロセスを停止させています。 >> > >> > 設定の変更等で最後までクローリングをする事は可能になりますか? >> > >> > それでは、よろしくお願いします。 >> > >> > >> > >