From shinsuke ＠ yahoo.co.jp Sat Jul 4 20:43:39 2015 From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya) Date: Sat, 4 Jul 2015 20:43:39 +0900 Subject: [fess-user 973] Re: =?utf-8?b?5beu5YiG44Kv44Ot44O844Or44Gnc29scuOBjE91dE9mTWVt?= =?utf-8?b?b3J544Gr44Gq44KL?= In-Reply-To: <558FE1C7.2090604@msk-web.co.jp> References: <558FE1C7.2090604@msk-web.co.jp> Message-ID: 菅谷です。 クロールするドキュメントの上限を上げて OOMが発生する場合は状況を確認して、 チューニングしていく必要があります。 商用サポートでは一度にインデックスする ドキュメント数を調整したり、Solrの スキーマを調整したり、OOMが発生する 状況に応じて調整したりしています。 shinsuke 2015年6月28日 21:00 斎藤 : > こんにちは。 > > 　2015年4月にフォーラムでも話題が上っていた（http://osdn.jp/projects > /fess/forums/18580 /36695/)のですが、 > 解決策が見つからず投稿させて頂きました。 > > 　内容等しては同様で、初回のクロール時には問題なくインデックスが登録され > ているのですが、 > 同一内容（検索対象文書に変更はなし）で再度クロールを行うと、「システム設 > 定」→「サーバー状態」も > 「無効」となってしまいます。 > > 　fess-server-9.3.3/bin/setenv.shで-Xmx6gとしており、そこそこ増やしたつ > もりです。 > > 　検索対象となるファイルは、 > 　・フォーマット：doc/docx/xls/xlsx/ppt/txt/pdf > 　・サイズ　　　：最大 50MBまで（10MB超のファイルが20%程度含まれておりま > すが、中身が画像主体です。） > 　　webapps/fess/WEB-INF/classes/s2robot_contentlength.diconで > 　52428800Lを指定。 > > 　solr.logには、以下のログが出力された後、同じ内容が繰り返し記録されてい > ました。 > > 　ちなみに、検索対象フォルダーを変更して、検索対象ファイルを追加する分に > は、普通に追加 > 出来ている様に思われます。 > > 　何か設定が不足しているのでしょうか？ > 　クロールは、 > 　ファイルシステムのみで、スレッド数５　間隔10000ミリ秒（10秒）としてい > ます。 > 　インデックスされたドキュメント数＝約700ファイル程度 > > 　動作環境： > 　　CPU 4コア/8スレッド > 　　メモリ　16GB > 　　HDD　500GB（空き容量は十分） > > > 　2015-06-xx 18:54:48,632 [http-nio-8080-exec-5] ERROR > org.apache.solr.servlet.SolrDispatchFilter - > null:java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap space > at > org.apache.solr.servlet.SolrDispatchFilter.sendError(SolrDispatchFilter.java:793) > at > org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:434) > at > org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:207) > at > org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:239) > at > org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206) > at > org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:219) > at > org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:106) > at > org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:614) > at > org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:142) > at > org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:79) > at > org.apache.catalina.valves.AbstractAccessLogValve.invoke(AbstractAccessLogValve.java:617) > at > org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:88) > at > org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:518) > at > org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1091) > at > org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:668) > at > org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1521) > at > org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.run(NioEndpoint.java:1478) > at > java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) > at > java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) > at > org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61) > at java.lang.Thread.run(Thread.java:745) > Caused by: java.lang.OutOfMemoryError: Java heap space > at java.util.Arrays.copyOf(Arrays.java:3332) > at java.lang.StringCoding.safeTrim(StringCoding.java:89) > at java.lang.StringCoding.decode(StringCoding.java:230) > at java.lang.String.(String.java:451) > at java.lang.String.(String.java:503) > at > org.apache.lucene.codecs.compressing.CompressingStoredFieldsReader.readField(CompressingStoredFieldsReader.java:205) > at > org.apache.lucene.codecs.compressing.CompressingStoredFieldsReader.visitDocument(CompressingStoredFieldsReader.java:369) > at > org.apache.lucene.index.SegmentReader.document(SegmentReader.java:335) > at > org.apache.lucene.index.BaseCompositeReader.document(BaseCompositeReader.java:112) > at > org.apache.lucene.index.IndexReader.document(IndexReader.java:471) > at > org.apache.lucene.document.LazyDocument.getDocument(LazyDocument.java:99) > at > org.apache.lucene.document.LazyDocument.fetchRealValues(LazyDocument.java:109) > at > org.apache.lucene.document.LazyDocument.access$100(LazyDocument.java:40) > at > org.apache.lucene.document.LazyDocument$LazyField.getRealValue(LazyDocument.java:149) > at > org.apache.lucene.document.LazyDocument$LazyField.numericValue(LazyDocument.java:185) > at org.apache.solr.schema.TrieField.toObject(TrieField.java:115) > at > org.apache.solr.schema.TrieDateField.toObject(TrieDateField.java:70) > at > org.apache.solr.schema.TrieDateField.toObject(TrieDateField.java:56) > at > org.apache.solr.response.BinaryResponseWriter$Resolver.getValue(BinaryResponseWriter.java:233) > at > org.apache.solr.response.BinaryResponseWriter$Resolver.getDoc(BinaryResponseWriter.java:196) > at > org.apache.solr.response.BinaryResponseWriter$Resolver.writeResultsBody(BinaryResponseWriter.java:156) > at > org.apache.solr.response.BinaryResponseWriter$Resolver.writeResults(BinaryResponseWriter.java:183) > at > org.apache.solr.response.BinaryResponseWriter$Resolver.resolve(BinaryResponseWriter.java:88) > at > org.apache.solr.common.util.JavaBinCodec.writeVal(JavaBinCodec.java:158) > at > org.apache.solr.common.util.JavaBinCodec.writeNamedList(JavaBinCodec.java:148) > at > org.apache.solr.common.util.JavaBinCodec.writeKnownType(JavaBinCodec.java:242) > at > org.apache.solr.common.util.JavaBinCodec.writeVal(JavaBinCodec.java:153) > at > org.apache.solr.common.util.JavaBinCodec.marshal(JavaBinCodec.java:96) > at > org.apache.solr.response.BinaryResponseWriter.write(BinaryResponseWriter.java:52) > at > org.apache.solr.servlet.SolrDispatchFilter.writeResponse(SolrDispatchFilter.java:758) > at > org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:426) > at > org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:207) > > 　クロールが完了し、インデックスをDB登録しているんだと思いますが、CPU１ > コアを使い切っている > 状態で、システム設定画面ではクロールを開始出来る様になっています。 > 　恐くてクリック出来ませんが、メモリ消費も5Gを超えており、この状態でク > リックできるとするのは > 如何なものなのでしょう？多分落ちますよねｗ > > 以上 > > _______________________________________________ > Fess-user mailing list > Fess-user ＠ lists.osdn.me > http://lists.osdn.me/mailman/listinfo/fess-user From wofc_kibo ＠ yahoo.co.jp Tue Jul 21 13:42:56 2015 From: wofc_kibo ＠ yahoo.co.jp (wofc_kibo ＠ yahoo.co.jp) Date: Tue, 21 Jul 2015 13:42:56 +0900 (JST) Subject: [fess-user 974] =?iso-2022-jp?b?GyRCJTUlOCUnJTklSCVJJS0lZSVhJXMlSCROMT9NUSRLGyhC?= =?iso-2022-jp?b?GyRCJEQkJCRGGyhC?= Message-ID: <235898.41497.qm@web101412.mail.kks.yahoo.co.jp> $B$*@$OC$K$J$C$F$*$j$^$9!#(B $B8=:_J#?t$N%/%m!<%k$r%8%g%V$GJ,3d$7%/%m!<%k$r]$K$D$$$F$465<(D:$1$^$9$G$7$g$&$+!#(B $B"#%5%8%'%9%H%I%-%e%a%s%H$,%8%g%V$Ne5-;v>]$KBP$7!"%5%8%'%9%H%I%-%e%a%s%H!J2a5nJ,!K$rC_ ＠ Q$7$F$$$/J}K!$O$"$j$^$9$G$7$g$&$+!#(B $B$43NG'$h$m$7$/$*4j$$CW$7$^$9!#(B $B0J>e$G$9!#(B From shinsuke ＠ yahoo.co.jp Thu Jul 23 17:05:13 2015 From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya) Date: Thu, 23 Jul 2015 17:05:13 +0900 Subject: [fess-user 975] Re: =?utf-8?b?44K144K444Kn44K544OI44OJ44Kt44Ol44Oh44Oz44OI44Gu?= =?utf-8?b?6YGL55So44Gr44Gk44GE44Gm?= In-Reply-To: <235898.41497.qm@web101412.mail.kks.yahoo.co.jp> References: <235898.41497.qm@web101412.mail.kks.yahoo.co.jp> Message-ID: 菅谷です。 http://osdn.jp/projects/fess/forums/18580/36115/76553/ にあるような感じでジョブで、namespaceを 指定してみてはいかがでしょうか？ shinsuke 2015年7月21日 13:42 : > お世話になっております。 > > 現在複数のクロールをジョブで分割しクロールを実行しております。 > 例） クロール Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ > ジョブ? Ａ，Ｂ > ジョブ? C，D，E > ジョブ? Ｆ > > fess9.1→fess9.4にバージョンアップしサジェスト機能を有効にしようと考えております。 > そこで以下事象についてご教示頂けますでしょうか。 > > ■サジェストドキュメントがジョブの実行ごとに毎回新規作成されてしまう。 > （前回分のサジェストドキュメントが削除されてしまう） > > 上記事象に対し、サジェストドキュメント（過去分）を蓄積していく方法はありますでしょうか。 > > ご確認よろしくお願い致します。 > 以上です。 > > > _______________________________________________ > Fess-user mailing list > Fess-user ＠ lists.osdn.me > http://lists.osdn.me/mailman/listinfo/fess-user >