From shinsuke ＠ yahoo.co.jp  Thu Dec 10 06:02:02 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Thu, 10 Dec 2009 06:02:02 +0900
Subject: [fess-user 27] Re: =?iso-2022-jp?b?RGlnZXN0IBskQkcnPloxWyQoGyhC?=
In-Reply-To: <d47064910911260649q3a7479d6qcf03ecc87b276fec@mail.gmail.com>
References: <d47064910911241332w781e2760n53198187e77a3b80@mail.gmail.com>
	<200911250304.AA11959@ea8055.shimadzu.co.jp>
	<d47064910911260649q3a7479d6qcf03ecc87b276fec@mail.gmail.com>
Message-ID: <d47064910912091302p5b36b94n11725f3d7fd5096f@mail.gmail.com>

菅谷です。

遅くなりましたが Digest 認証の SVN で試してみたり
したのですが、まだ再現することができない状態で
います…。これはまだ起きている感じでしょうか?

shinsuke


2009年11月26日23:49 Shinsuke Sugaya <shinsuke ＠ yahoo.co.jp>:
> 菅谷です。
>
> ありがとうございます。
> こちらでまだ、これを再現できる環境が用意できず、
> 手が回っていないので、少々お待ちください…。
>
> shinsuke
>
> 2009年11月25日12:04 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
>> 柴田＠亀岡市です。
>>
>>>ホスト名 (空)
>>>ポート -1
>>>レルム名 (空)
>>>認証方法 Digest認証
>>
>> ...をやってみましたが状況変わりません。
>>
>> その前後のログを貼っておきます。
>>
>> 関係あるかどうかわかりませんが、http://bunbun/svn 以下に認証が
>> 必要で http://bunbun/ 直下はフリーです。
>>
>> 2009-11-25 11:34:09,703 [http-8080-1] INFO
>> org.apache.commons.httpclient.auth.AuthChallengeProcessor - basic authentication scheme selected
>> 2009-11-25 11:34:09,734 [http-8080-1] INFO
>> org.apache.commons.httpclient.auth.AuthChallengeProcessor - basic authentication scheme selected
>> 2009-11-25 11:35:15,234 [chronos-pool-3-thread-4] INFO  jp.sf.fess.task.CrawlTask - Crawler
>> Starting..
>> 2009-11-25 11:35:15,265 [Robot-20091125113515234-1-1] INFO  org.seasar.robot.S2RobotThread -
>> Crawling URL: http://bunbun/svn/xxxxxx/root/trunk/doc/
>> 2009-11-25 11:35:15,265 [Robot-20091125113515234-1-1] INFO
>> org.seasar.robot.client.http.CommonsHttpClient - Checking URL: http://bunbun/robots.txt
>> 2009-11-25 11:35:15,312 [Robot-20091125113515234-1-1] INFO
>> org.apache.commons.httpclient.auth.AuthChallengeProcessor - digest authentication scheme selected
>> 2009-11-25 11:35:15,328 [Robot-20091125113515234-1-1] INFO
>> org.apache.commons.httpclient.HttpMethodDirector - Failure authenticating with DIGEST
>> 'trac'@bunbun:80
>> 2009-11-25 11:37:10,359 [chronos-pool-3-thread-4] INFO  jp.sf.fess.helper.WebIndexHelper - [EXEC
>> TIME] crawling time: 115109ms
>> 2009-11-25 11:37:15,281 [Thread-39] INFO  jp.sf.fess.solr.IndexUpdater - [EXEC TIME] index update
>> time: 0ms
>> 2009-11-25 11:37:15,281 [chronos-pool-3-thread-4] INFO  jp.sf.fess.helper.FileSystemIndexHelper -
>> No crawling target urls.
>> 2009-11-25 11:37:15,281 [chronos-pool-3-thread-4] INFO
>> org.apache.commons.httpclient.auth.AuthChallengeProcessor - basic authentication scheme selected
>> 2009-11-25 11:37:15,296 [chronos-pool-3-thread-4] INFO  jp.sf.fess.task.CrawlTask - [EXEC TIME]
>> index optimize time: 15ms
>> 2009-11-25 11:37:15,296 [chronos-pool-3-thread-4] INFO  jp.sf.fess.task.CrawlTask - Finished
>> Crawler
>>
>>>菅谷です。
>>>
>>>設定的には問題なさそうに見えます。
>>>その部分の commons-httpclient の実装を見ると、
>>>原因はわかりませんが、AuthState が期待する値と
>>>なぜか異なってしまっているように見えます(それの
>>>前後にWARNなど他に何か出力されていないでしょうか?)。
>>>
>>>たとえば、以下のようにして、すべて任意にしては
>>>どうでしょうか?
>>>
>>>ホスト名 (空)
>>>ポート -1
>>>レルム名 (空)
>>>認証方法 Digest認証
>>>
>>>よろしくお願いします。
>>>
>>>shinsuke
>>>
>>>
>>>2009年11月24日21:09 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
>>>> 立て続けに質問で申し訳ありません。
>>>> 柴田です。
>>>> (ほかの柴田さんとの区別のため今後「柴田＠亀岡市」と表記したいと思います。)
>>>>
>>>> 実は Subversion 上で Word や Excel などのドキュメントを管理して
>>>> いまして、試しにそれらを検索しようとしています。
>>>>
>>>> Digest 認証 をかけているのですが、Fess でインデックスを作ろうと
>>>> しているあたりで認証に失敗しているようです。
>>>>
>>>> ログを見ると...
>>>> [Robot-20091124204918359-1-1] INFO  org.apache.commons.httpclient.HttpMethodDirector - Failure
>>>> authenticating with DIGEST 'trac'@bunbun:80
>>>> ...とあります。
>>>>
>>>> Apache httpd.conf から Fess ウェブ認証設定に対し...
>>>>  ServerName bunbun → ホスト名 (イントラネット運用です)
>>>>  Listen 80 → ポート
>>>>  AuthType Digest → 認証方法
>>>>  AuthName trac → レルム
>>>> ...とし、
>>>>
>>>> ユーザー名、パスワードは Subversion リポジトリにログインするとき
>>>> に使えているものを使っています。
>>>>
>>>> ウェブ設定名は上記でログインできる以下の URL を参照するようにな
>>>> っています。
>>>>  http://bunbun/svn/.....
>>>>
>>>> 上記の設定で何か思い違いがあるでしょうか？
>>>>
>>>> ちなみに先のメールで書き忘れましたが、Fess を動かしているのは
>>>> Windows Xp Pro の localhost 環境で、参照先の Subversion は、イン
>>>> トラネット上にあり、これも Windows (ですが Server版) です。
>>>>
>>>> Trac Lightning というツールで同時インストールされる Subversion
>>>> をアクセスしようとしています。
>>>>
>>>> Subversion ではありませんが、認証のないケースでは (PDF 内文字列
>>>> 検索以外) 検索できていますので、インストールまではうまく行ってい
>>>> ると思います。
>>>>
>>>> ----------
>>>> Shibata, Masayuki
>>>> Manager, Software Development
>>>> Shimadzu Corporation
>>>> Analytical Measuring Instruments Division
>>>> Research & Development Department
>>>> Telephone:  075-823-1441 Japan
>>>> Facsimile:  075-823-1365 Japan
>>>> E-mail: mshibata ＠ shimadzu.co.jp
>>>>
>>>> _______________________________________________
>>>> Fess-user mailing list
>>>> Fess-user ＠ lists.sourceforge.jp
>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>>>
>>>
>>>_______________________________________________
>>>Fess-user mailing list
>>>Fess-user ＠ lists.sourceforge.jp
>>>http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>>
>>
>> ----------
>> Shibata, Masayuki
>> Manager, Software Development
>> Shimadzu Corporation
>> Analytical Measuring Instruments Division
>> Research & Development Department
>> Telephone:  075-823-1441 Japan
>> Facsimile:  075-823-1365 Japan
>> E-mail: mshibata ＠ shimadzu.co.jp
>>
>> _______________________________________________
>> Fess-user mailing list
>> Fess-user ＠ lists.sourceforge.jp
>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>
>


From shinsuke ＠ yahoo.co.jp  Thu Dec 10 06:05:42 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Thu, 10 Dec 2009 06:05:42 +0900
Subject: [fess-user 28]
	=?iso-2022-jp?b?RmVzcyAxLjEuMiAbJEIlaiVqITwlORsoQg==?=
Message-ID: <d47064910912091305s25508437n557543c97c0b059c@mail.gmail.com>

菅谷です。

Fess 1.1.2 をリリースしました。
このリリースでは、クロール時のパフォーマンスの改善を
中心に修正しています。どうぞ、ご利用ください。

ダウンロード
http://sourceforge.jp/projects/fess/releases/

修正内容
http://sourceforge.jp/projects/fess/ticket/?milestone=510&status=2&milestone_mode=eq

shinsuke


From mshibata ＠ shimadzu.co.jp  Thu Dec 10 19:55:53 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Thu, 10 Dec 2009 19:55:53 +0900
Subject: [fess-user 29] Re: =?iso-2022-jp?b?RGlnZXN0IBskQkcnPloxWyQoGyhC?=
In-Reply-To: <d47064910912091302p5b36b94n11725f3d7fd5096f@mail.gmail.com>
References: <d47064910912091302p5b36b94n11725f3d7fd5096f@mail.gmail.com>
Message-ID: <200912101055.AA12071@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

そちらで再現しないということで、ターゲットとは別に localhost に
TracLightning 経由 Subversion をインストールして試してみました。

そうしたら、それについては問題なく Digest 認証を越えられましたの
で、ターゲットと localhost の条件の差を順々に潰していったところ、
多分これが原因では？と言うものに行き着きました。

Digest 認証に使う ID ですが、Subversion 配下のプロジェクト全体の
権限を持つ admin あるいは同等の ID でないと Fess はクロールでき
ていないようです。

自分が見ることができるプロジェクトリポジトリ
 ex.  http://host_name/svn/project_name/.* 
...をクロールするには、そこが見えるだけの SVN 権限の ID (実は自
分の個人 ID) でよいだろうと私が勝手に勘違いしてたのだと思います。

今 ID に "admin" をセットして試しているところです。

全プロジェクトのリポジトリのクロールでテストを走らせてしまったの
で、対象が巨大なためなかなか戻ってきていませんが、戻ってきていな
いということはちゃんと動いているのではないかと...

ID は全プロジェクトリポジトリに権限が必要でも、クロールする範囲
は Fess の設定で絞れるような気はしますが、それは上のテストを走ら
せてしまったので、それが戻ってきてから試します。

こちらの思惑としては、認証に使う ID で見えるところだけクロール
できれば、ID に与えるリポジトリ参照権限で見える範囲をコントロ
ールできるのではと目論んでいたのですが、見たい範囲を都度 Fess
に細かく登録する... というのが現仕様に対するこちらの正しい運用
だったというのが結論になるかと思います。

勝手な思い込みでお騒がせしてしまったようでスミマセン。

>菅谷です。
>
>遅くなりましたが Digest 認証の SVN で試してみたり
>したのですが、まだ再現することができない状態で
>います…。これはまだ起きている感じでしょうか?
>
>shinsuke
>
>
>2009年11月26日23:49 Shinsuke Sugaya <shinsuke ＠ yahoo.co.jp>:
>> 菅谷です。
>>
>> ありがとうございます。
>> こちらでまだ、これを再現できる環境が用意できず、
>> 手が回っていないので、少々お待ちください…。
>>
>> shinsuke
>>
>> 2009年11月25日12:04 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
>>> 柴田＠亀岡市です。
>>>
>>>>ホスト名 (空)
>>>>ポート -1
>>>>レルム名 (空)
>>>>認証方法 Digest認証
>>>
>>> ...をやってみましたが状況変わりません。
>>>
>>> その前後のログを貼っておきます。
>>>
>>> 関係あるかどうかわかりませんが、http://bunbun/svn 以下に認証が
>>> 必要で http://bunbun/ 直下はフリーです。
>>>
>>> 2009-11-25 11:34:09,703 [http-8080-1] INFO
>>> org.apache.commons.httpclient.auth.AuthChallengeProcessor - basic authentication scheme 
selected
>>> 2009-11-25 11:34:09,734 [http-8080-1] INFO
>>> org.apache.commons.httpclient.auth.AuthChallengeProcessor - basic authentication scheme 
selected
>>> 2009-11-25 11:35:15,234 [chronos-pool-3-thread-4] INFO  jp.sf.fess.task.CrawlTask - Crawler
>>> Starting..
>>> 2009-11-25 11:35:15,265 [Robot-20091125113515234-1-1] INFO  org.seasar.robot.S2RobotThread -
>>> Crawling URL: http://bunbun/svn/xxxxxx/root/trunk/doc/
>>> 2009-11-25 11:35:15,265 [Robot-20091125113515234-1-1] INFO
>>> org.seasar.robot.client.http.CommonsHttpClient - Checking URL: http://bunbun/robots.txt
>>> 2009-11-25 11:35:15,312 [Robot-20091125113515234-1-1] INFO
>>> org.apache.commons.httpclient.auth.AuthChallengeProcessor - digest authentication scheme 
selected
>>> 2009-11-25 11:35:15,328 [Robot-20091125113515234-1-1] INFO
>>> org.apache.commons.httpclient.HttpMethodDirector - Failure authenticating with DIGEST
>>> 'trac'@bunbun:80
>>> 2009-11-25 11:37:10,359 [chronos-pool-3-thread-4] INFO  jp.sf.fess.helper.WebIndexHelper - 
[EXEC
>>> TIME] crawling time: 115109ms
>>> 2009-11-25 11:37:15,281 [Thread-39] INFO  jp.sf.fess.solr.IndexUpdater - [EXEC TIME] index 
update
>>> time: 0ms
>>> 2009-11-25 11:37:15,281 [chronos-pool-3-thread-4] INFO  
jp.sf.fess.helper.FileSystemIndexHelper -
>>> No crawling target urls.
>>> 2009-11-25 11:37:15,281 [chronos-pool-3-thread-4] INFO
>>> org.apache.commons.httpclient.auth.AuthChallengeProcessor - basic authentication scheme 
selected
>>> 2009-11-25 11:37:15,296 [chronos-pool-3-thread-4] INFO  jp.sf.fess.task.CrawlTask - [EXEC 
TIME]
>>> index optimize time: 15ms
>>> 2009-11-25 11:37:15,296 [chronos-pool-3-thread-4] INFO  jp.sf.fess.task.CrawlTask - Finished
>>> Crawler
>>>
>>>>菅谷です。
>>>>
>>>>設定的には問題なさそうに見えます。
>>>>その部分の commons-httpclient の実装を見ると、
>>>>原因はわかりませんが、AuthState が期待する値と
>>>>なぜか異なってしまっているように見えます(それの
>>>>前後にWARNなど他に何か出力されていないでしょうか?)。
>>>>
>>>>たとえば、以下のようにして、すべて任意にしては
>>>>どうでしょうか?
>>>>
>>>>ホスト名 (空)
>>>>ポート -1
>>>>レルム名 (空)
>>>>認証方法 Digest認証
>>>>
>>>>よろしくお願いします。
>>>>
>>>>shinsuke
>>>>
>>>>
>>>>2009年11月24日21:09 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
>>>>> 立て続けに質問で申し訳ありません。
>>>>> 柴田です。
>>>>> (ほかの柴田さんとの区別のため今後「柴田＠亀岡市」と表記したいと思います。)
>>>>>
>>>>> 実は Subversion 上で Word や Excel などのドキュメントを管理して
>>>>> いまして、試しにそれらを検索しようとしています。
>>>>>
>>>>> Digest 認証 をかけているのですが、Fess でインデックスを作ろうと
>>>>> しているあたりで認証に失敗しているようです。
>>>>>
>>>>> ログを見ると...
>>>>> [Robot-20091124204918359-1-1] INFO  org.apache.commons.httpclient.HttpMethodDirector - 
Failure
>>>>> authenticating with DIGEST 'trac'@bunbun:80
>>>>> ...とあります。
>>>>>
>>>>> Apache httpd.conf から Fess ウェブ認証設定に対し...
>>>>>  ServerName bunbun → ホスト名 (イントラネット運用です)
>>>>>  Listen 80 → ポート
>>>>>  AuthType Digest → 認証方法
>>>>>  AuthName trac → レルム
>>>>> ...とし、
>>>>>
>>>>> ユーザー名、パスワードは Subversion リポジトリにログインするとき
>>>>> に使えているものを使っています。
>>>>>
>>>>> ウェブ設定名は上記でログインできる以下の URL を参照するようにな
>>>>> っています。
>>>>>  http://bunbun/svn/.....
>>>>>
>>>>> 上記の設定で何か思い違いがあるでしょうか？
>>>>>
>>>>> ちなみに先のメールで書き忘れましたが、Fess を動かしているのは
>>>>> Windows Xp Pro の localhost 環境で、参照先の Subversion は、イン
>>>>> トラネット上にあり、これも Windows (ですが Server版) です。
>>>>>
>>>>> Trac Lightning というツールで同時インストールされる Subversion
>>>>> をアクセスしようとしています。
>>>>>
>>>>> Subversion ではありませんが、認証のないケースでは (PDF 内文字列
>>>>> 検索以外) 検索できていますので、インストールまではうまく行ってい
>>>>> ると思います。
>>>>>
>>>>> ----------
>>>>> Shibata, Masayuki
>>>>> Manager, Software Development
>>>>> Shimadzu Corporation
>>>>> Analytical Measuring Instruments Division
>>>>> Research & Development Department
>>>>> Telephone:  075-823-1441 Japan
>>>>> Facsimile:  075-823-1365 Japan
>>>>> E-mail: mshibata ＠ shimadzu.co.jp
>>>>>
>>>>> _______________________________________________
>>>>> Fess-user mailing list
>>>>> Fess-user ＠ lists.sourceforge.jp
>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>>>>
>>>>
>>>>_______________________________________________
>>>>Fess-user mailing list
>>>>Fess-user ＠ lists.sourceforge.jp
>>>>http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>>>
>>>
>>> ----------
>>> Shibata, Masayuki
>>> Manager, Software Development
>>> Shimadzu Corporation
>>> Analytical Measuring Instruments Division
>>> Research & Development Department
>>> Telephone:  075-823-1441 Japan
>>> Facsimile:  075-823-1365 Japan
>>> E-mail: mshibata ＠ shimadzu.co.jp
>>>
>>> _______________________________________________
>>> Fess-user mailing list
>>> Fess-user ＠ lists.sourceforge.jp
>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>>
>>
>
>_______________________________________________
>Fess-user mailing list
>Fess-user ＠ lists.sourceforge.jp
>http://lists.sourceforge.jp/mailman/listinfo/fess-user
>

----------
Shibata, Masayuki
Manager, Software Development
Shimadzu Corporation
Analytical Measuring Instruments Division
Research & Development Department
Telephone:  075-823-1441 Japan
Facsimile:  075-823-1365 Japan
E-mail: mshibata ＠ shimadzu.co.jp


From shinsuke ＠ yahoo.co.jp  Fri Dec 11 13:08:49 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Fri, 11 Dec 2009 13:08:49 +0900
Subject: [fess-user 30] Re: =?iso-2022-jp?b?RGlnZXN0IBskQkcnPloxWyQoGyhC?=
In-Reply-To: <200912101055.AA12071@ea8055.shimadzu.co.jp>
References: <d47064910912091302p5b36b94n11725f3d7fd5096f@mail.gmail.com>
	<200912101055.AA12071@ea8055.shimadzu.co.jp>
Message-ID: <d47064910912102008gea7af93nccd5e5a58cb414f3@mail.gmail.com>

菅谷です。

いろいろと調べていただきありがとうございます！
こちらでもその情報を元に確認したいと思います。

shinsuke


2009年12月10日19:55 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
> 柴田＠亀岡市です。
>
> そちらで再現しないということで、ターゲットとは別に localhost に
> TracLightning 経由 Subversion をインストールして試してみました。
>
> そうしたら、それについては問題なく Digest 認証を越えられましたの
> で、ターゲットと localhost の条件の差を順々に潰していったところ、
> 多分これが原因では？と言うものに行き着きました。
>
> Digest 認証に使う ID ですが、Subversion 配下のプロジェクト全体の
> 権限を持つ admin あるいは同等の ID でないと Fess はクロールでき
> ていないようです。
>
> 自分が見ることができるプロジェクトリポジトリ
>  ex.  http://host_name/svn/project_name/.*
> ...をクロールするには、そこが見えるだけの SVN 権限の ID (実は自
> 分の個人 ID) でよいだろうと私が勝手に勘違いしてたのだと思います。
>
> 今 ID に "admin" をセットして試しているところです。
>
> 全プロジェクトのリポジトリのクロールでテストを走らせてしまったの
> で、対象が巨大なためなかなか戻ってきていませんが、戻ってきていな
> いということはちゃんと動いているのではないかと...
>
> ID は全プロジェクトリポジトリに権限が必要でも、クロールする範囲
> は Fess の設定で絞れるような気はしますが、それは上のテストを走ら
> せてしまったので、それが戻ってきてから試します。
>
> こちらの思惑としては、認証に使う ID で見えるところだけクロール
> できれば、ID に与えるリポジトリ参照権限で見える範囲をコントロ
> ールできるのではと目論んでいたのですが、見たい範囲を都度 Fess
> に細かく登録する... というのが現仕様に対するこちらの正しい運用
> だったというのが結論になるかと思います。
>
> 勝手な思い込みでお騒がせしてしまったようでスミマセン。
>
>>菅谷です。
>>
>>遅くなりましたが Digest 認証の SVN で試してみたり
>>したのですが、まだ再現することができない状態で
>>います…。これはまだ起きている感じでしょうか?
>>
>>shinsuke
>>
>>
>>2009年11月26日23:49 Shinsuke Sugaya <shinsuke ＠ yahoo.co.jp>:
>>> 菅谷です。
>>>
>>> ありがとうございます。
>>> こちらでまだ、これを再現できる環境が用意できず、
>>> 手が回っていないので、少々お待ちください…。
>>>
>>> shinsuke
>>>
>>> 2009年11月25日12:04 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
>>>> 柴田＠亀岡市です。
>>>>
>>>>>ホスト名 (空)
>>>>>ポート -1
>>>>>レルム名 (空)
>>>>>認証方法 Digest認証
>>>>
>>>> ...をやってみましたが状況変わりません。
>>>>
>>>> その前後のログを貼っておきます。
>>>>
>>>> 関係あるかどうかわかりませんが、http://bunbun/svn 以下に認証が
>>>> 必要で http://bunbun/ 直下はフリーです。
>>>>
>>>> 2009-11-25 11:34:09,703 [http-8080-1] INFO
>>>> org.apache.commons.httpclient.auth.AuthChallengeProcessor - basic authentication scheme
> selected
>>>> 2009-11-25 11:34:09,734 [http-8080-1] INFO
>>>> org.apache.commons.httpclient.auth.AuthChallengeProcessor - basic authentication scheme
> selected
>>>> 2009-11-25 11:35:15,234 [chronos-pool-3-thread-4] INFO  jp.sf.fess.task.CrawlTask - Crawler
>>>> Starting..
>>>> 2009-11-25 11:35:15,265 [Robot-20091125113515234-1-1] INFO  org.seasar.robot.S2RobotThread -
>>>> Crawling URL: http://bunbun/svn/xxxxxx/root/trunk/doc/
>>>> 2009-11-25 11:35:15,265 [Robot-20091125113515234-1-1] INFO
>>>> org.seasar.robot.client.http.CommonsHttpClient - Checking URL: http://bunbun/robots.txt
>>>> 2009-11-25 11:35:15,312 [Robot-20091125113515234-1-1] INFO
>>>> org.apache.commons.httpclient.auth.AuthChallengeProcessor - digest authentication scheme
> selected
>>>> 2009-11-25 11:35:15,328 [Robot-20091125113515234-1-1] INFO
>>>> org.apache.commons.httpclient.HttpMethodDirector - Failure authenticating with DIGEST
>>>> 'trac'@bunbun:80
>>>> 2009-11-25 11:37:10,359 [chronos-pool-3-thread-4] INFO  jp.sf.fess.helper.WebIndexHelper -
> [EXEC
>>>> TIME] crawling time: 115109ms
>>>> 2009-11-25 11:37:15,281 [Thread-39] INFO  jp.sf.fess.solr.IndexUpdater - [EXEC TIME] index
> update
>>>> time: 0ms
>>>> 2009-11-25 11:37:15,281 [chronos-pool-3-thread-4] INFO
> jp.sf.fess.helper.FileSystemIndexHelper -
>>>> No crawling target urls.
>>>> 2009-11-25 11:37:15,281 [chronos-pool-3-thread-4] INFO
>>>> org.apache.commons.httpclient.auth.AuthChallengeProcessor - basic authentication scheme
> selected
>>>> 2009-11-25 11:37:15,296 [chronos-pool-3-thread-4] INFO  jp.sf.fess.task.CrawlTask - [EXEC
> TIME]
>>>> index optimize time: 15ms
>>>> 2009-11-25 11:37:15,296 [chronos-pool-3-thread-4] INFO  jp.sf.fess.task.CrawlTask - Finished
>>>> Crawler
>>>>
>>>>>菅谷です。
>>>>>
>>>>>設定的には問題なさそうに見えます。
>>>>>その部分の commons-httpclient の実装を見ると、
>>>>>原因はわかりませんが、AuthState が期待する値と
>>>>>なぜか異なってしまっているように見えます(それの
>>>>>前後にWARNなど他に何か出力されていないでしょうか?)。
>>>>>
>>>>>たとえば、以下のようにして、すべて任意にしては
>>>>>どうでしょうか?
>>>>>
>>>>>ホスト名 (空)
>>>>>ポート -1
>>>>>レルム名 (空)
>>>>>認証方法 Digest認証
>>>>>
>>>>>よろしくお願いします。
>>>>>
>>>>>shinsuke
>>>>>
>>>>>
>>>>>2009年11月24日21:09 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
>>>>>> 立て続けに質問で申し訳ありません。
>>>>>> 柴田です。
>>>>>> (ほかの柴田さんとの区別のため今後「柴田＠亀岡市」と表記したいと思います。)
>>>>>>
>>>>>> 実は Subversion 上で Word や Excel などのドキュメントを管理して
>>>>>> いまして、試しにそれらを検索しようとしています。
>>>>>>
>>>>>> Digest 認証 をかけているのですが、Fess でインデックスを作ろうと
>>>>>> しているあたりで認証に失敗しているようです。
>>>>>>
>>>>>> ログを見ると...
>>>>>> [Robot-20091124204918359-1-1] INFO  org.apache.commons.httpclient.HttpMethodDirector -
> Failure
>>>>>> authenticating with DIGEST 'trac'@bunbun:80
>>>>>> ...とあります。
>>>>>>
>>>>>> Apache httpd.conf から Fess ウェブ認証設定に対し...
>>>>>>  ServerName bunbun → ホスト名 (イントラネット運用です)
>>>>>>  Listen 80 → ポート
>>>>>>  AuthType Digest → 認証方法
>>>>>>  AuthName trac → レルム
>>>>>> ...とし、
>>>>>>
>>>>>> ユーザー名、パスワードは Subversion リポジトリにログインするとき
>>>>>> に使えているものを使っています。
>>>>>>
>>>>>> ウェブ設定名は上記でログインできる以下の URL を参照するようにな
>>>>>> っています。
>>>>>>  http://bunbun/svn/.....
>>>>>>
>>>>>> 上記の設定で何か思い違いがあるでしょうか？
>>>>>>
>>>>>> ちなみに先のメールで書き忘れましたが、Fess を動かしているのは
>>>>>> Windows Xp Pro の localhost 環境で、参照先の Subversion は、イン
>>>>>> トラネット上にあり、これも Windows (ですが Server版) です。
>>>>>>
>>>>>> Trac Lightning というツールで同時インストールされる Subversion
>>>>>> をアクセスしようとしています。
>>>>>>
>>>>>> Subversion ではありませんが、認証のないケースでは (PDF 内文字列
>>>>>> 検索以外) 検索できていますので、インストールまではうまく行ってい
>>>>>> ると思います。
>>>>>>
>>>>>> ----------
>>>>>> Shibata, Masayuki
>>>>>> Manager, Software Development
>>>>>> Shimadzu Corporation
>>>>>> Analytical Measuring Instruments Division
>>>>>> Research & Development Department
>>>>>> Telephone:  075-823-1441 Japan
>>>>>> Facsimile:  075-823-1365 Japan
>>>>>> E-mail: mshibata ＠ shimadzu.co.jp
>>>>>>
>>>>>> _______________________________________________
>>>>>> Fess-user mailing list
>>>>>> Fess-user ＠ lists.sourceforge.jp
>>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>>>>>
>>>>>
>>>>>_______________________________________________
>>>>>Fess-user mailing list
>>>>>Fess-user ＠ lists.sourceforge.jp
>>>>>http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>>>>
>>>>
>>>> ----------
>>>> Shibata, Masayuki
>>>> Manager, Software Development
>>>> Shimadzu Corporation
>>>> Analytical Measuring Instruments Division
>>>> Research & Development Department
>>>> Telephone:  075-823-1441 Japan
>>>> Facsimile:  075-823-1365 Japan
>>>> E-mail: mshibata ＠ shimadzu.co.jp
>>>>
>>>> _______________________________________________
>>>> Fess-user mailing list
>>>> Fess-user ＠ lists.sourceforge.jp
>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>>>
>>>
>>
>>_______________________________________________
>>Fess-user mailing list
>>Fess-user ＠ lists.sourceforge.jp
>>http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>
>
> ----------
> Shibata, Masayuki
> Manager, Software Development
> Shimadzu Corporation
> Analytical Measuring Instruments Division
> Research & Development Department
> Telephone:  075-823-1441 Japan
> Facsimile:  075-823-1365 Japan
> E-mail: mshibata ＠ shimadzu.co.jp
>
> _______________________________________________
> Fess-user mailing list
> Fess-user ＠ lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From mshibata ＠ shimadzu.co.jp  Fri Dec 11 14:11:51 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Fri, 11 Dec 2009 14:11:51 +0900
Subject: [fess-user 31] Re: =?iso-2022-jp?b?RGlnZXN0IBskQkcnPloxWyQoGyhC?=
In-Reply-To: <d47064910912102008gea7af93nccd5e5a58cb414f3@mail.gmail.com>
References: <d47064910912102008gea7af93nccd5e5a58cb414f3@mail.gmail.com>
Message-ID: <200912110511.AA12076@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

ハズレでした。

全権を持った ID で、すべてのプロジェクトのリポジトリを対象にし
たらクロールはできているのは確かですが、ID の方ではなかった、
あるいは ID だけではなかったかのどちらかのようです。

>> ID は全プロジェクトリポジトリに権限が必要でも、クロールする範囲
>> は Fess の設定で絞れるような気はしますが、それは上のテストを走ら
>> せてしまったので、それが戻ってきてから試します。

...を 全権を持った ID で特定のプロジェクトのリポジトリ配下だけ
クロールしようとしたのですが、何もヒットしてきませんでした。

もしかしたら ID の方ではなく、必ず Subversion リポジトリ全体で
ないとクロールできないか、リポジトリ全体＆全権 ID でないとクロ
ールできないかのどちらかではないかと...

何となく作り的には考えにくいような気はするのですが...

調査を継続します。

----------
Shibata, Masayuki
Manager, Software Development
Shimadzu Corporation
Analytical Measuring Instruments Division
Research & Development Department
Telephone:  075-823-1441 Japan
Facsimile:  075-823-1365 Japan
E-mail: mshibata ＠ shimadzu.co.jp


From mshibata ＠ shimadzu.co.jp  Fri Dec 11 15:33:08 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Fri, 11 Dec 2009 15:33:08 +0900
Subject: [fess-user 32] Re: =?iso-2022-jp?b?RGlnZXN0IBskQkcnPloxWyQoGyhC?=
In-Reply-To: <200912110511.AA12076@ea8055.shimadzu.co.jp>
References: <200912110511.AA12076@ea8055.shimadzu.co.jp>
Message-ID: <200912110633.AA12077@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

独り相撲とってます...

Subversion サーバールート以下、全権を持った ID で認証しないと
うまく行かない... は正解です。

Subvresion のプロジェクトのリポジトリ (枝) が部分クロールでき
ない... は間違いでした。

ディレクトリリスティング表示が素のものだとよいのですが、Tigris
から落としてきたテンプレートを経由して表示しているとコケてい
るようで、途中から認識してたので、そこを経由しないようにテス
トしてたのに、うっかりチョンボしてました。

...なので、さきほどのメールの内容はご放念ください。

>柴田＠亀岡市です。
>
>ハズレでした。
>
>全権を持った ID で、すべてのプロジェクトのリポジトリを対象にし
>たらクロールはできているのは確かですが、ID の方ではなかった、
>あるいは ID だけではなかったかのどちらかのようです。
>
>>> ID は全プロジェクトリポジトリに権限が必要でも、クロールする範囲
>>> は Fess の設定で絞れるような気はしますが、それは上のテストを走ら
>>> せてしまったので、それが戻ってきてから試します。
>
>...を 全権を持った ID で特定のプロジェクトのリポジトリ配下だけ
>クロールしようとしたのですが、何もヒットしてきませんでした。
>
>もしかしたら ID の方ではなく、必ず Subversion リポジトリ全体で
>ないとクロールできないか、リポジトリ全体＆全権 ID でないとクロ
>ールできないかのどちらかではないかと...
>
>何となく作り的には考えにくいような気はするのですが...
>
>調査を継続します。
>
>----------
>Shibata, Masayuki
>Manager, Software Development
>Shimadzu Corporation
>Analytical Measuring Instruments Division
>Research & Development Department
>Telephone:  075-823-1441 Japan
>Facsimile:  075-823-1365 Japan
>E-mail: mshibata ＠ shimadzu.co.jp
>
>_______________________________________________
>Fess-user mailing list
>Fess-user ＠ lists.sourceforge.jp
>http://lists.sourceforge.jp/mailman/listinfo/fess-user
>

----------
Shibata, Masayuki
Manager, Software Development
Shimadzu Corporation
Analytical Measuring Instruments Division
Research & Development Department
Telephone:  075-823-1441 Japan
Facsimile:  075-823-1365 Japan
E-mail: mshibata ＠ shimadzu.co.jp


From mshibata ＠ shimadzu.co.jp  Fri Dec 11 15:49:22 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Fri, 11 Dec 2009 15:49:22 +0900
Subject: [fess-user 33]
	=?iso-2022-jp?b?GyRCJEEkZyRDJEgkNyQ/SVQ2cTlnIzI3bxsoQg==?=
Message-ID: <200912110649.AA12078@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

その１
管理メニューの「セッション情報」で「すべて削除」をクリックすると
エラーダイアログが出てきます。

Stack overflow at line: 159

削除はされて何ともないみたいですが、一応お知らせしておきます。

当方の環境依存 (WinXp localhost の Fess を IE6 でアクセス) の可
能性もあります。

その２
管理メニューの「バックアップ/リストア」で XML ファイル欄が空の
ままうっかり「データのリストア」をクリックしてしまったのですが
戻ってこなかったように思います。

しばらく待って、応答がなかったので落としましたが、も少し待てば
タイムアウトしたのか不明です。

これも念のためお知らせします。

----------
Shibata, Masayuki
Manager, Software Development
Shimadzu Corporation
Analytical Measuring Instruments Division
Research & Development Department
Telephone:  075-823-1441 Japan
Facsimile:  075-823-1365 Japan
E-mail: mshibata ＠ shimadzu.co.jp


From mshibata ＠ shimadzu.co.jp  Fri Dec 11 16:13:52 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Fri, 11 Dec 2009 16:13:52 +0900
Subject: [fess-user 34]
 =?iso-2022-jp?b?U3VidmVyc2lvbiAbJEIkRxsoQiBXb3JkL0V4Y2VsIA==?=
 =?iso-2022-jp?b?GyRCRmIkciUvJW0hPCVrJEckLSRKJCQhIxsoQg==?=
Message-ID: <200912110713.AA12079@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

うちの Subversion は 1.4.5 と古いので、新しいものだと問題ない
のかも知れないのですが、無事 Digest 認証越えを果たしてSubver-
sion をクロールできても Word/Excel などの中身は拾っていないよ
うです。

ファイルのディレクトリリスティングページは拾っており、直前のと
ころまでは見えてます。

また、Text ファイルと、拡張子 mm (Mind Map → FreeMind？) のフ
ァイルは中身も検索できているので、いいセンまでは行ってます。

Fess のせいではないかも知れませんが...

----------
Shibata, Masayuki
Manager, Software Development
Shimadzu Corporation
Analytical Measuring Instruments Division
Research & Development Department
Telephone:  075-823-1441 Japan
Facsimile:  075-823-1365 Japan
E-mail: mshibata ＠ shimadzu.co.jp


From shinsuke ＠ yahoo.co.jp  Fri Dec 11 17:20:17 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Fri, 11 Dec 2009 17:20:17 +0900
Subject: [fess-user 35] Re:
	=?iso-2022-jp?b?GyRCJEEkZyRDJEgkNyQ/SVQ2cTlnIzI3bxsoQg==?=
In-Reply-To: <200912110649.AA12078@ea8055.shimadzu.co.jp>
References: <200912110649.AA12078@ea8055.shimadzu.co.jp>
Message-ID: <d47064910912110020w2d8faac1m71578282035df704@mail.gmail.com>

菅谷です。

ありがとうございます。
以下のチケットで調査・対応させていただきます。

> その１
http://sourceforge.jp/ticket/browse.php?group_id=4342&tid=19875

> その２
http://sourceforge.jp/ticket/browse.php?group_id=4342&tid=19876

よろしくお願いします。

shinsuke

2009年12月11日15:49 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
> 柴田＠亀岡市です。
>
> その１
> 管理メニューの「セッション情報」で「すべて削除」をクリックすると
> エラーダイアログが出てきます。
>
> Stack overflow at line: 159
>
> 削除はされて何ともないみたいですが、一応お知らせしておきます。
>
> 当方の環境依存 (WinXp localhost の Fess を IE6 でアクセス) の可
> 能性もあります。
>
> その２
> 管理メニューの「バックアップ/リストア」で XML ファイル欄が空の
> ままうっかり「データのリストア」をクリックしてしまったのですが
> 戻ってこなかったように思います。
>
> しばらく待って、応答がなかったので落としましたが、も少し待てば
> タイムアウトしたのか不明です。
>
> これも念のためお知らせします。
>
> ----------
> Shibata, Masayuki
> Manager, Software Development
> Shimadzu Corporation
> Analytical Measuring Instruments Division
> Research & Development Department
> Telephone:  075-823-1441 Japan
> Facsimile:  075-823-1365 Japan
> E-mail: mshibata ＠ shimadzu.co.jp
>
> _______________________________________________
> Fess-user mailing list
> Fess-user ＠ lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From shinsuke ＠ yahoo.co.jp  Fri Dec 11 17:30:20 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Fri, 11 Dec 2009 17:30:20 +0900
Subject: [fess-user 36] Re: =?iso-2022-jp?b?RGlnZXN0IBskQkcnPloxWyQoGyhC?=
In-Reply-To: <200912110633.AA12077@ea8055.shimadzu.co.jp>
References: <200912110511.AA12076@ea8055.shimadzu.co.jp>
	<200912110633.AA12077@ea8055.shimadzu.co.jp>
Message-ID: <d47064910912110030te6899j6b9d3f036ca1f730@mail.gmail.com>

菅谷です。

いろいろと確認していただきありがとうございます。
subversion も結構手強そうな感じがしてきたので、
テスト環境も整備していこうと思います。

> Subversion サーバールート以下、全権を持った ID で認証しないと
> うまく行かない... は正解です。

これについては、クロール時に robots.txt をとりに
いって問題が発生しているのかも、とか考え始めてます。
これも何が原因か調査していこうと思います。

＃いろいろと奥が深いです…

shinsuke


2009年12月11日15:33 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
> 柴田＠亀岡市です。
>
> 独り相撲とってます...
>
> Subversion サーバールート以下、全権を持った ID で認証しないと
> うまく行かない... は正解です。
>
> Subvresion のプロジェクトのリポジトリ (枝) が部分クロールでき
> ない... は間違いでした。
>
> ディレクトリリスティング表示が素のものだとよいのですが、Tigris
> から落としてきたテンプレートを経由して表示しているとコケてい
> るようで、途中から認識してたので、そこを経由しないようにテス
> トしてたのに、うっかりチョンボしてました。
>
> ...なので、さきほどのメールの内容はご放念ください。
>
>>柴田＠亀岡市です。
>>
>>ハズレでした。
>>
>>全権を持った ID で、すべてのプロジェクトのリポジトリを対象にし
>>たらクロールはできているのは確かですが、ID の方ではなかった、
>>あるいは ID だけではなかったかのどちらかのようです。
>>
>>>> ID は全プロジェクトリポジトリに権限が必要でも、クロールする範囲
>>>> は Fess の設定で絞れるような気はしますが、それは上のテストを走ら
>>>> せてしまったので、それが戻ってきてから試します。
>>
>>...を 全権を持った ID で特定のプロジェクトのリポジトリ配下だけ
>>クロールしようとしたのですが、何もヒットしてきませんでした。
>>
>>もしかしたら ID の方ではなく、必ず Subversion リポジトリ全体で
>>ないとクロールできないか、リポジトリ全体＆全権 ID でないとクロ
>>ールできないかのどちらかではないかと...
>>
>>何となく作り的には考えにくいような気はするのですが...
>>
>>調査を継続します。
>>
>>----------
>>Shibata, Masayuki
>>Manager, Software Development
>>Shimadzu Corporation
>>Analytical Measuring Instruments Division
>>Research & Development Department
>>Telephone:  075-823-1441 Japan
>>Facsimile:  075-823-1365 Japan
>>E-mail: mshibata ＠ shimadzu.co.jp
>>
>>_______________________________________________
>>Fess-user mailing list
>>Fess-user ＠ lists.sourceforge.jp
>>http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>
>
> ----------
> Shibata, Masayuki
> Manager, Software Development
> Shimadzu Corporation
> Analytical Measuring Instruments Division
> Research & Development Department
> Telephone:  075-823-1441 Japan
> Facsimile:  075-823-1365 Japan
> E-mail: mshibata ＠ shimadzu.co.jp
>
> _______________________________________________
> Fess-user mailing list
> Fess-user ＠ lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From shinsuke ＠ yahoo.co.jp  Fri Dec 11 17:38:41 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Fri, 11 Dec 2009 17:38:41 +0900
Subject: [fess-user 37] Re:
	=?iso-2022-jp?b?U3VidmVyc2lvbiAbJEIkRxsoQiBXb3JkL0V4Y2VsIA==?=
	=?iso-2022-jp?b?GyRCRmIkciUvJW0hPCVrJEckLSRKJCQhIxsoQg==?=
In-Reply-To: <200912110713.AA12079@ea8055.shimadzu.co.jp>
References: <200912110713.AA12079@ea8055.shimadzu.co.jp>
Message-ID: <d47064910912110038t2a7bdf0ao3afcb2dc65bcae21@mail.gmail.com>

菅谷です。

> Word/Excel などの中身は拾っていないようです。

対象の Word/Excel のバージョンは何になるでしょうか?
一応、doc や docx などをサポートしている感じ
なのですが…。

> また、Text ファイルと、拡張子 mm (Mind Map → FreeMind？) のフ
> ァイルは中身も検索できているので、いいセンまでは行ってます。

おぉ、mm も XML として処理できているのですね。
私が確認してないファイルの判定も適切に機能している
ようでうれしいです。情報をありがとうございました。

shinsuke

2009年12月11日16:13 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
> 柴田＠亀岡市です。
>
> うちの Subversion は 1.4.5 と古いので、新しいものだと問題ない
> のかも知れないのですが、無事 Digest 認証越えを果たしてSubver-
> sion をクロールできても Word/Excel などの中身は拾っていないよ
> うです。
>
> ファイルのディレクトリリスティングページは拾っており、直前のと
> ころまでは見えてます。
>
> また、Text ファイルと、拡張子 mm (Mind Map → FreeMind？) のフ
> ァイルは中身も検索できているので、いいセンまでは行ってます。
>
> Fess のせいではないかも知れませんが...
>
> ----------
> Shibata, Masayuki
> Manager, Software Development
> Shimadzu Corporation
> Analytical Measuring Instruments Division
> Research & Development Department
> Telephone:  075-823-1441 Japan
> Facsimile:  075-823-1365 Japan
> E-mail: mshibata ＠ shimadzu.co.jp
>
> _______________________________________________
> Fess-user mailing list
> Fess-user ＠ lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From mshibata ＠ shimadzu.co.jp  Fri Dec 11 18:36:29 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Fri, 11 Dec 2009 18:36:29 +0900
Subject: [fess-user 38] Re:
 =?iso-2022-jp?b?U3VidmVyc2lvbiAbJEIkRxsoQiBXb3JkL0V4Y2VsIA==?=
 =?iso-2022-jp?b?GyRCRmIkciUvJW0hPCVrJEckLSRKJCQhIxsoQg==?=
In-Reply-To: <d47064910912110038t2a7bdf0ao3afcb2dc65bcae21@mail.gmail.com>
References: <d47064910912110038t2a7bdf0ao3afcb2dc65bcae21@mail.gmail.com>
Message-ID: <200912110936.AA12081@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

>> Word/Excel などの中身は拾っていないようです。
>
>対象の Word/Excel のバージョンは何になるでしょうか?
>一応、doc や docx などをサポートしている感じ
>なのですが…。

Office 2000 のものが多いと思います。

ディレクトリリスティングのページまでは拾ってきていて、そこから
リンクをたたいて表示できる Word ファイル中の文字列を再度 Fess
に指定して検索をかけるのですが、そいつがヒットしてこないです。

----------
Shibata, Masayuki
Manager, Software Development
Shimadzu Corporation
Analytical Measuring Instruments Division
Research & Development Department
Telephone:  075-823-1441 Japan
Facsimile:  075-823-1365 Japan
E-mail: mshibata ＠ shimadzu.co.jp


From shinsuke ＠ yahoo.co.jp  Sat Dec 12 06:54:21 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Sat, 12 Dec 2009 06:54:21 +0900
Subject: [fess-user 39] Re:
	=?iso-2022-jp?b?U3VidmVyc2lvbiAbJEIkRxsoQiBXb3JkL0V4Y2VsIA==?=
	=?iso-2022-jp?b?GyRCRmIkciUvJW0hPCVrJEckLSRKJCQhIxsoQg==?=
In-Reply-To: <200912110936.AA12081@ea8055.shimadzu.co.jp>
References: <d47064910912110038t2a7bdf0ao3afcb2dc65bcae21@mail.gmail.com>
	<200912110936.AA12081@ea8055.shimadzu.co.jp>
Message-ID: <d47064910912111354t4690997s7b27a0a8b50b37ff@mail.gmail.com>

菅谷です。

> Office 2000 のものが多いと思います。

ありがとうございます。手元の doc では通るので
Subversion がらみなのかもしれないです。

何度も申し訳ありませんが、そのファイルの
ファイル名(拡張子なし部分)やそのファイルに
含まれる英数字も検索できない感じでしょうか?
検索できれば、文字化けして処理されている
可能性が高いですし、できなければ文字列抽出に
失敗していると思われます。

よろしくお願いいたします。

shinsuke

2009年12月11日18:36 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
> 柴田＠亀岡市です。
>
>>> Word/Excel などの中身は拾っていないようです。
>>
>>対象の Word/Excel のバージョンは何になるでしょうか?
>>一応、doc や docx などをサポートしている感じ
>>なのですが…。
>
> Office 2000 のものが多いと思います。
>
> ディレクトリリスティングのページまでは拾ってきていて、そこから
> リンクをたたいて表示できる Word ファイル中の文字列を再度 Fess
> に指定して検索をかけるのですが、そいつがヒットしてこないです。
>
> ----------
> Shibata, Masayuki
> Manager, Software Development
> Shimadzu Corporation
> Analytical Measuring Instruments Division
> Research & Development Department
> Telephone:  075-823-1441 Japan
> Facsimile:  075-823-1365 Japan
> E-mail: mshibata ＠ shimadzu.co.jp
>
> _______________________________________________
> Fess-user mailing list
> Fess-user ＠ lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From mshibata ＠ shimadzu.co.jp  Mon Dec 14 11:50:44 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Mon, 14 Dec 2009 11:50:44 +0900
Subject: [fess-user 40] Re:
 =?iso-2022-jp?b?U3VidmVyc2lvbiAbJEIkRxsoQiBXb3JkL0V4Y2VsIA==?=
 =?iso-2022-jp?b?GyRCRmIkciUvJW0hPCVrJEckLSRKJCQhIxsoQg==?=
In-Reply-To: <d47064910912111354t4690997s7b27a0a8b50b37ff@mail.gmail.com>
References: <d47064910912111354t4690997s7b27a0a8b50b37ff@mail.gmail.com>
Message-ID: <200912140250.AA12084@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

英文字もダメです。

ディレクトリリスティングページにはたどり着いていて、テキストファイルなど
では、ファイル名、中身もヒットし、Word、Excel ファイルは中身だけでなくフ
ァイル名もアウトです。

Subversion 以外の Web サーバーページからのリンク先 Word、Excel やファイ
ルサーバー (file://) の Word、Excel は読めてますので、Subversion 特有の
現象です。

ブラウザでページのリンクを辿っている限りは、ごく普通に読めそうな気はしま
すし、手で辿って開く分には実際に読めますので、文字列抽出には支障ないよう
に思うのですが...

>菅谷です。
>
>> Office 2000 のものが多いと思います。
>
>ありがとうございます。手元の doc では通るので
>Subversion がらみなのかもしれないです。
>
>何度も申し訳ありませんが、そのファイルの
>ファイル名(拡張子なし部分)やそのファイルに
>含まれる英数字も検索できない感じでしょうか?
>検索できれば、文字化けして処理されている
>可能性が高いですし、できなければ文字列抽出に
>失敗していると思われます。
>
>よろしくお願いいたします。
>
>shinsuke
>
>2009年12月11日18:36 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
>> 柴田＠亀岡市です。
>>
>>>> Word/Excel などの中身は拾っていないようです。
>>>
>>>対象の Word/Excel のバージョンは何になるでしょうか?
>>>一応、doc や docx などをサポートしている感じ
>>>なのですが…。
>>
>> Office 2000 のものが多いと思います。
>>
>> ディレクトリリスティングのページまでは拾ってきていて、そこから
>> リンクをたたいて表示できる Word ファイル中の文字列を再度 Fess
>> に指定して検索をかけるのですが、そいつがヒットしてこないです。
>>
>> ----------
>> Shibata, Masayuki
>> Manager, Software Development
>> Shimadzu Corporation
>> Analytical Measuring Instruments Division
>> Research & Development Department
>> Telephone:  075-823-1441 Japan
>> Facsimile:  075-823-1365 Japan
>> E-mail: mshibata ＠ shimadzu.co.jp
>>
>> _______________________________________________
>> Fess-user mailing list
>> Fess-user ＠ lists.sourceforge.jp
>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>
>
>_______________________________________________
>Fess-user mailing list
>Fess-user ＠ lists.sourceforge.jp
>http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From shinsuke ＠ yahoo.co.jp  Mon Dec 14 22:27:23 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Mon, 14 Dec 2009 22:27:23 +0900
Subject: [fess-user 41] Re:
	=?iso-2022-jp?b?U3VidmVyc2lvbiAbJEIkRxsoQiBXb3JkL0V4Y2VsIA==?=
	=?iso-2022-jp?b?GyRCRmIkciUvJW0hPCVrJEckLSRKJCQhIxsoQg==?=
In-Reply-To: <200912140250.AA12084@ea8055.shimadzu.co.jp>
References: <d47064910912111354t4690997s7b27a0a8b50b37ff@mail.gmail.com>
	<200912140250.AA12084@ea8055.shimadzu.co.jp>
Message-ID: <d47064910912140527h7f1776f6n5abe59d977424c86@mail.gmail.com>

菅谷です。

確認していただきありがとうございます。
原因が分かった気がします。たぶん、MIMEタイプが
application/octet-stream あたりで返ってくるため
対象にならないと思われます。1.2 のコードでは
未知の MIME タイプでも検索対象とすることを試みる
ように修正をしました。ありがとうございました。

shinsuke


2009年12月14日11:50 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
> 柴田＠亀岡市です。
>
> 英文字もダメです。
>
> ディレクトリリスティングページにはたどり着いていて、テキストファイルなど
> では、ファイル名、中身もヒットし、Word、Excel ファイルは中身だけでなくフ
> ァイル名もアウトです。
>
> Subversion 以外の Web サーバーページからのリンク先 Word、Excel やファイ
> ルサーバー (file://) の Word、Excel は読めてますので、Subversion 特有の
> 現象です。
>
> ブラウザでページのリンクを辿っている限りは、ごく普通に読めそうな気はしま
> すし、手で辿って開く分には実際に読めますので、文字列抽出には支障ないよう
> に思うのですが...
>
>>菅谷です。
>>
>>> Office 2000 のものが多いと思います。
>>
>>ありがとうございます。手元の doc では通るので
>>Subversion がらみなのかもしれないです。
>>
>>何度も申し訳ありませんが、そのファイルの
>>ファイル名(拡張子なし部分)やそのファイルに
>>含まれる英数字も検索できない感じでしょうか?
>>検索できれば、文字化けして処理されている
>>可能性が高いですし、できなければ文字列抽出に
>>失敗していると思われます。
>>
>>よろしくお願いいたします。
>>
>>shinsuke
>>
>>2009年12月11日18:36 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
>>> 柴田＠亀岡市です。
>>>
>>>>> Word/Excel などの中身は拾っていないようです。
>>>>
>>>>対象の Word/Excel のバージョンは何になるでしょうか?
>>>>一応、doc や docx などをサポートしている感じ
>>>>なのですが…。
>>>
>>> Office 2000 のものが多いと思います。
>>>
>>> ディレクトリリスティングのページまでは拾ってきていて、そこから
>>> リンクをたたいて表示できる Word ファイル中の文字列を再度 Fess
>>> に指定して検索をかけるのですが、そいつがヒットしてこないです。
>>>
>>> ----------
>>> Shibata, Masayuki
>>> Manager, Software Development
>>> Shimadzu Corporation
>>> Analytical Measuring Instruments Division
>>> Research & Development Department
>>> Telephone:  075-823-1441 Japan
>>> Facsimile:  075-823-1365 Japan
>>> E-mail: mshibata ＠ shimadzu.co.jp
>>>
>>> _______________________________________________
>>> Fess-user mailing list
>>> Fess-user ＠ lists.sourceforge.jp
>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>>
>>
>>_______________________________________________
>>Fess-user mailing list
>>Fess-user ＠ lists.sourceforge.jp
>>http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>
>
> _______________________________________________
> Fess-user mailing list
> Fess-user ＠ lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From mshibata ＠ shimadzu.co.jp  Tue Dec 15 10:58:18 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Tue, 15 Dec 2009 10:58:18 +0900
Subject: [fess-user 42] Re:
 =?iso-2022-jp?b?U3VidmVyc2lvbiAbJEIkRxsoQiBXb3JkL0V4Y2VsIA==?=
 =?iso-2022-jp?b?GyRCRmIkciUvJW0hPCVrJEckLSRKJCQhIxsoQg==?=
In-Reply-To: <d47064910912140527h7f1776f6n5abe59d977424c86@mail.gmail.com>
References: <d47064910912140527h7f1776f6n5abe59d977424c86@mail.gmail.com>
Message-ID: <200912150158.AA12092@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

fess-server-1.2.0-SNAPSHOT 09/12/15 版で確認しました。
問題なく検索できています。

ありがとうございました。

----------
Shibata, Masayuki
Manager, Software Development
Shimadzu Corporation
Analytical Measuring Instruments Division
Research & Development Department
Telephone:  075-823-1441 Japan
Facsimile:  075-823-1365 Japan
E-mail: mshibata ＠ shimadzu.co.jp


From mshibata ＠ shimadzu.co.jp  Mon Dec 21 10:00:56 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Mon, 21 Dec 2009 10:00:56 +0900
Subject: [fess-user 43]
	=?iso-2022-jp?b?GyRCJVYhPCU5JUhDTUZ+Tk8kTkFbRGpITzBPGyhC?=
Message-ID: <200912210100.AA12108@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

12/18 昼頃ダウンロードした fess-server-1.2.0-SNAPSHOT.zip での
質問です。もう解決されていたらご放念を...

ブースト値ですが、どういう入力範囲イメージでしょうか？

・小数を入れると２で割り切れる値 (0.75 とか 0.5 とか) はそのま
  ま保存されますが、そうでない 0.8 とか 0.6 を入れると、次開い
  たときに内部値になってます。

・1 に対して 1.5 とか 0.5 とかに振ったものを混在させてみたので
  すが、あまり効いていないように思います。

整数をセットするイメージでしょうか？

----------
Shibata, Masayuki
Manager, Software Development
Shimadzu Corporation
Analytical Measuring Instruments Division
Research & Development Department
Telephone:  075-823-1441 Japan
Facsimile:  075-823-1365 Japan
E-mail: mshibata ＠ shimadzu.co.jp


From mshibata ＠ shimadzu.co.jp  Mon Dec 21 10:20:02 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Mon, 21 Dec 2009 10:20:02 +0900
Subject: [fess-user 44]
	=?iso-2022-jp?b?GyRCST08KCQ1JGwkSiQkSjg7eiROOCE6dxsoQg==?=
Message-ID: <200912210120.AA12109@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

当方イントラでクロールした状況での結果ですので、一般的なもの
ではないと思いますが、「ブラウザ」とか「JavaScript」で検索を
かけると、大量にヒットしてそのほとんどに以下のようなダイジェ
スト文字列が表示されてます。

----- ここから -----
このブラウザは、JavaScript が無効になっています。JavaScriptを有効にして再度、お越しください。if 
(document.cookie == "") {document.write('<div class="errorHeaderMsg">このブラウザは、Cookie が無
効になっています。Cookieを有効にして再度、お越しください。</div>');} ログイン あなた... 
----- ここまで -----

特定の Web システムで画面周辺のメニューやボタンの定型文字がヒ
ットしてコンテンツ部分がノイズに埋もれるのは、まだメニューやボ
タンの文字が見えているのでやむを得ないのはわかるのですが、特定
の条件が成立しないと出力されないものが検索対象になってしまうの
はそういうものでしょうか？


From shinsuke ＠ yahoo.co.jp  Mon Dec 21 10:31:35 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Mon, 21 Dec 2009 10:31:35 +0900
Subject: [fess-user 45] Re:
	=?iso-2022-jp?b?GyRCJVYhPCU5JUhDTUZ+Tk8kTkFbRGpITzBPGyhC?=
In-Reply-To: <200912210100.AA12108@ea8055.shimadzu.co.jp>
References: <200912210100.AA12108@ea8055.shimadzu.co.jp>
Message-ID: <d47064910912201731k3f59bf9bt341d08917f0b668a@mail.gmail.com>

菅谷です。

> ブースト値ですが、どういう入力範囲イメージでしょうか？

重みづけを設定するブースト値は 0 以上の数値を想定しています。
値自体は Solr にそのまま渡しています。ですので、Solr が
定義するブースト値と同様になります。SolrJ ではブースト値に
float を渡しているので、Fess でも float で渡すようにしました。
Solr のどこかのドキュメントに書いてあったと思うのですが、
(すいません、どこに書いてあったか忘れました…) 確実な
重みづけしたい場合は、ブースト値を 10000 とか十分に大きな値を
設定するとのことでした。

> ・小数を入れると２で割り切れる値 (0.75 とか 0.5 とか) はそのま
>  ま保存されますが、そうでない 0.8 とか 0.6 を入れると、次開い
>  たときに内部値になってます。

ご指摘をありがとうございます。
内部的な保持の仕方を変更しようと思います。

> 整数をセットするイメージでしょうか？

Solr 的にはブースト値は float なのですが、直観的な
使いやすさを考えると (少数点で指定したいほど微妙な
ものはない気がするので) Fess では整数で指定するように
変更したいと思います。

shinsuke



2009年12月21日10:00 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
> 柴田＠亀岡市です。
>
> 12/18 昼頃ダウンロードした fess-server-1.2.0-SNAPSHOT.zip での
> 質問です。もう解決されていたらご放念を...
>
> ブースト値ですが、どういう入力範囲イメージでしょうか？
>
> ・小数を入れると２で割り切れる値 (0.75 とか 0.5 とか) はそのま
>  ま保存されますが、そうでない 0.8 とか 0.6 を入れると、次開い
>  たときに内部値になってます。
>
> ・1 に対して 1.5 とか 0.5 とかに振ったものを混在させてみたので
>  すが、あまり効いていないように思います。
>
> 整数をセットするイメージでしょうか？
>
> ----------
> Shibata, Masayuki
> Manager, Software Development
> Shimadzu Corporation
> Analytical Measuring Instruments Division
> Research & Development Department
> Telephone:  075-823-1441 Japan
> Facsimile:  075-823-1365 Japan
> E-mail: mshibata ＠ shimadzu.co.jp
>
> _______________________________________________
> Fess-user mailing list
> Fess-user ＠ lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From mshibata ＠ shimadzu.co.jp  Mon Dec 21 10:41:36 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Mon, 21 Dec 2009 10:41:36 +0900
Subject: [fess-user 46]
 =?iso-2022-jp?b?GyRCRjEkOCVaITwlOCQsSiM/dCVSJUMlSCQ3JF4kORsoQg==?=
Message-ID: <200912210141.AA12110@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

クロール先の設定なのですが例えば

http://hostname/trac/projectname
http://hostname/trac/projectname/
http://hostname/trac/projectname/wiki

...は、全部

http://hostname/trac/projectname/wiki/WikiStart.html

が表示される設定だとしますと、WikiStart.html にある文字列で
検索をかけると必ず３つくらいヒットリストに並んで出てきます。

これはこういうモノでしょうか？

----------
Shibata, Masayuki
Manager, Software Development
Shimadzu Corporation
Analytical Measuring Instruments Division
Research & Development Department
Telephone:  075-823-1441 Japan
Facsimile:  075-823-1365 Japan
E-mail: mshibata ＠ shimadzu.co.jp


From shinsuke ＠ yahoo.co.jp  Mon Dec 21 10:42:01 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Mon, 21 Dec 2009 10:42:01 +0900
Subject: [fess-user 47] Re:
	=?iso-2022-jp?b?GyRCST08KCQ1JGwkSiQkSjg7eiROOCE6dxsoQg==?=
In-Reply-To: <200912210120.AA12109@ea8055.shimadzu.co.jp>
References: <200912210120.AA12109@ea8055.shimadzu.co.jp>
Message-ID: <d47064910912201742q63e7ce87j754477100382ede3@mail.gmail.com>

菅谷です。

ご指摘いただきありがとうございます。
対策を検討したいと思います。

もし簡単にわかるようでしたら教えていただきたい
のですが、「if(document.cookie == "")…」はおそらく
script のタグあたりに囲まれていると思うのですが、

> このブラウザは、JavaScript が無効になっています。JavaScriptを有効にして再度、お越しください。

上記の文は script タグの中に入っているものでしょうか?

shinsuke


2009年12月21日10:20 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
> 柴田＠亀岡市です。
>
> 当方イントラでクロールした状況での結果ですので、一般的なもの
> ではないと思いますが、「ブラウザ」とか「JavaScript」で検索を
> かけると、大量にヒットしてそのほとんどに以下のようなダイジェ
> スト文字列が表示されてます。
>
> ----- ここから -----
> このブラウザは、JavaScript が無効になっています。JavaScriptを有効にして再度、お越しください。if
> (document.cookie == "") {document.write('<div class="errorHeaderMsg">このブラウザは、Cookie が無
> 効になっています。Cookieを有効にして再度、お越しください。</div>');} ログイン あなた...
> ----- ここまで -----
>
> 特定の Web システムで画面周辺のメニューやボタンの定型文字がヒ
> ットしてコンテンツ部分がノイズに埋もれるのは、まだメニューやボ
> タンの文字が見えているのでやむを得ないのはわかるのですが、特定
> の条件が成立しないと出力されないものが検索対象になってしまうの
> はそういうものでしょうか？
>
> _______________________________________________
> Fess-user mailing list
> Fess-user ＠ lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From mshibata ＠ shimadzu.co.jp  Mon Dec 21 11:18:13 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Mon, 21 Dec 2009 11:18:13 +0900
Subject: [fess-user 48] Re:
 =?iso-2022-jp?b?GyRCST08KCQ1JGwkSiQkSjg7eiROOCE6dxsoQg==?=
In-Reply-To: <d47064910912201742q63e7ce87j754477100382ede3@mail.gmail.com>
References: <d47064910912201742q63e7ce87j754477100382ede3@mail.gmail.com>
Message-ID: <200912210218.AA12112@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

そうです。HTML body の頭の方にこんな感じで記述されているようです。

<body style="">
    <noscript>
        <div class="errorHeaderMsg">
            このブラウザは、JavaScript が無効になっています。JavaScriptを有効にして
            再度、お越しください。
        </div>
    </noscript>
    <script type="text/javascript">
        if (document.cookie == "") {document.write('
            <div class="errorHeaderMsg">
                このブラウザは、Cookie が無効になっています。Cookieを有効にして再度、
                お越しください。
            </div>
        ');}
    </script>
...


>菅谷です。
>
>ご指摘いただきありがとうございます。
>対策を検討したいと思います。
>
>もし簡単にわかるようでしたら教えていただきたい
>のですが、「if(document.cookie == "")…」はおそらく
>script のタグあたりに囲まれていると思うのですが、
>
>> このブラウザは、JavaScript が無効になっています。JavaScriptを有効にして再度、お越しくださ
い。
>
>上記の文は script タグの中に入っているものでしょうか?
>
>shinsuke
>
>
>2009年12月21日10:20 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
>> 柴田＠亀岡市です。
>>
>> 当方イントラでクロールした状況での結果ですので、一般的なもの
>> ではないと思いますが、「ブラウザ」とか「JavaScript」で検索を
>> かけると、大量にヒットしてそのほとんどに以下のようなダイジェ
>> スト文字列が表示されてます。
>>
>> ----- ここから -----
>> このブラウザは、JavaScript が無効になっています。JavaScriptを有効にして再度、お越しくださ
い。if
>> (document.cookie == "") {document.write('<div class="errorHeaderMsg">このブラウザは、Cookie 
が無
>> 効になっています。Cookieを有効にして再度、お越しください。</div>');} ログイン あなた...
>> ----- ここまで -----
>>
>> 特定の Web システムで画面周辺のメニューやボタンの定型文字がヒ
>> ットしてコンテンツ部分がノイズに埋もれるのは、まだメニューやボ
>> タンの文字が見えているのでやむを得ないのはわかるのですが、特定
>> の条件が成立しないと出力されないものが検索対象になってしまうの
>> はそういうものでしょうか？
>>
>> _______________________________________________
>> Fess-user mailing list
>> Fess-user ＠ lists.sourceforge.jp
>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>
>
>_______________________________________________
>Fess-user mailing list
>Fess-user ＠ lists.sourceforge.jp
>http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From shinsuke ＠ yahoo.co.jp  Mon Dec 21 11:19:18 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Mon, 21 Dec 2009 11:19:18 +0900
Subject: [fess-user 49] Re:
	=?iso-2022-jp?b?GyRCRjEkOCVaITwlOCQsSiM/dCVSJUMlSCQ3JF4bKEI=?=
	=?iso-2022-jp?b?GyRCJDkbKEI=?=
In-Reply-To: <200912210141.AA12110@ea8055.shimadzu.co.jp>
References: <200912210141.AA12110@ea8055.shimadzu.co.jp>
Message-ID: <d47064910912201819m5dd4a1cflbdb2ecd8beb0292f@mail.gmail.com>

菅谷です。

現状、各コンテンツ比較ロジックは実装していないので
なかなか難しい問題なのですが、現時点でそれを
回避するとしたら、「検索対象とするURL」で
http://hostname/trac/projectname/wiki/.*.html
のようにして、「検索対象から除外するURL」で

> http://hostname/trac/projectname
> http://hostname/trac/projectname/
> http://hostname/trac/projectname/wiki

を入れることになるかと思います。

コンテンツ比較ロジックもすぐに良い対応方法が
思いつかないですが、何か対策を考えたいと
思います。

shinsuke


2009年12月21日10:41 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
> 柴田＠亀岡市です。
>
> クロール先の設定なのですが例えば
>
> http://hostname/trac/projectname
> http://hostname/trac/projectname/
> http://hostname/trac/projectname/wiki
>
> ...は、全部
>
> http://hostname/trac/projectname/wiki/WikiStart.html
>
> が表示される設定だとしますと、WikiStart.html にある文字列で
> 検索をかけると必ず３つくらいヒットリストに並んで出てきます。
>
> これはこういうモノでしょうか？
>
> ----------
> Shibata, Masayuki
> Manager, Software Development
> Shimadzu Corporation
> Analytical Measuring Instruments Division
> Research & Development Department
> Telephone:  075-823-1441 Japan
> Facsimile:  075-823-1365 Japan
> E-mail: mshibata ＠ shimadzu.co.jp
>
> _______________________________________________
> Fess-user mailing list
> Fess-user ＠ lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From mshibata ＠ shimadzu.co.jp  Mon Dec 21 15:48:38 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Mon, 21 Dec 2009 15:48:38 +0900
Subject: [fess-user 50]
 =?iso-2022-jp?b?GyRCJS8lbSE8JWtCUD5dGyhCKBskQjMwGyhCKVVSTCA=?=
 =?iso-2022-jp?b?GyRCJEgbKEIgGyRCOCE6d0JQPl0bKEIoGyRCMzAbKEIpVVJMIA==?=
 =?iso-2022-jp?b?GyRCJE47SCQkSn0bKEI=?=
Message-ID: <200912210648.AA12115@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

非常に基本的な質問で恐縮なのですが...

クロール対象 URL とは...
対象 URL のドキュメント中にリンクがないか探しに行く。

検索対象 URL とは...
対象 URL のドキュメント中に検索文字がないか探しに行く。

...と思っているのですが、

・クロール対象 URL に指定してあれば、検索するとヒットするように
  思いますが、それで正解でしょうか？

・クロール対象 URL 内のドキュメントにクロール対象外へのリンクが
  ある場合、リンク先のドキュメントは検索対象になるでしょうか？

・上記の場合、検索対象をクロール対象内に閉じ込めたいときは、検
  索対象 URL にクロール対象 URL と同じ正規文字列検索式を入れて
  おく必要がありますか？

ちょっと一番上の質問の部分で混乱しておりますので、とんちんかん
な質問をしてしまっているのかも知れませんが、ご教示いただけると
助かります。


From shinsuke ＠ yahoo.co.jp  Mon Dec 21 18:10:53 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Mon, 21 Dec 2009 18:10:53 +0900
Subject: [fess-user 51] Re:
	=?iso-2022-jp?b?GyRCJS8lbSE8JWtCUD5dGyhCKBskQjMwGyhCKVVSTCA=?=
	=?iso-2022-jp?b?GyRCJEgbKEIgGyRCOCE6d0JQPl0bKEIoGyRCMzAbKEIpVVJM?=
	=?iso-2022-jp?b?IBskQiROO0gkJEp9GyhC?=
In-Reply-To: <200912210648.AA12115@ea8055.shimadzu.co.jp>
References: <200912210648.AA12115@ea8055.shimadzu.co.jp>
Message-ID: <d47064910912210110u3e8db27ek132c55016c5ffe2d@mail.gmail.com>

菅谷です。

ややこしくなって申し訳ありません。その機能を
追加した動機は、クロールしていくけど、その中の
一部は検索対象にしたくないようなことから来てます。
たとえば、一覧と詳細ページがあったとして、一覧
ページをクロールの開始地点にして、検索結果には
詳細ページだけにしたいような場合です(一覧ページは
結果に表示しない)。このような場合は、「検索対象から
除外するURL」に一覧ページを指定します。

簡単ではありますが、
http://fess.sourceforge.jp/ja/1.2/admin/webCrawlingConfig-guide.html
にまとめてみました。

> クロール対象 URL とは...

クロールする対象 URL になります。検索対象 URLで何も
指定しなければ、今まで通り、検索対象としてSolr に投入
されます。

> 検索対象 URL とは...

検索対象として Solr に投入される URL になります。
クロール対象となった URL を Solr に投入するかどうか
(検索結果に入れるか) を制御します。

> ・クロール対象 URL に指定してあれば、検索するとヒットするように
>  思いますが、それで正解でしょうか？

検索対象 URL (除外も)で何も指定しなければ、Solr に投入
され、検索にヒットします。検索対象 URL が指定されていれば
それにマッチするかどうかで、検索にヒットするか決まります。

> ・クロール対象 URL 内のドキュメントにクロール対象外へのリンクが
>  ある場合、リンク先のドキュメントは検索対象になるでしょうか？

クロール対象外であれば、検索にはヒットしません。

> ・上記の場合、検索対象をクロール対象内に閉じ込めたいときは、検
>  索対象 URL にクロール対象 URL と同じ正規文字列検索式を入れて
>  おく必要がありますか？

検索対象はクロール対象に含まれます。
検索対象の URL はクロール対象の中での条件をしてすれば
OK です。同じものを指定する必要はありません。

たとえば、従来通り、クロール対象で指定して、ある部分の
ドキュメントだけ検索結果に表示したくない場合に、「検索対象から
除外するURL」にそれを指定するような使い方があると思います。

よろしくお願いいたします。

# ドキュメントに例を書いた方がよさそうですね…(反省)

shinsuke



2009年12月21日15:48 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
> 柴田＠亀岡市です。
>
> 非常に基本的な質問で恐縮なのですが...
>
> クロール対象 URL とは...
> 対象 URL のドキュメント中にリンクがないか探しに行く。
>
> 検索対象 URL とは...
> 対象 URL のドキュメント中に検索文字がないか探しに行く。
>
> ...と思っているのですが、
>
> ・クロール対象 URL に指定してあれば、検索するとヒットするように
>  思いますが、それで正解でしょうか？
>
> ・クロール対象 URL 内のドキュメントにクロール対象外へのリンクが
>  ある場合、リンク先のドキュメントは検索対象になるでしょうか？
>
> ・上記の場合、検索対象をクロール対象内に閉じ込めたいときは、検
>  索対象 URL にクロール対象 URL と同じ正規文字列検索式を入れて
>  おく必要がありますか？
>
> ちょっと一番上の質問の部分で混乱しておりますので、とんちんかん
> な質問をしてしまっているのかも知れませんが、ご教示いただけると
> 助かります。
>
> _______________________________________________
> Fess-user mailing list
> Fess-user ＠ lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From mshibata ＠ shimadzu.co.jp  Mon Dec 21 19:44:15 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Mon, 21 Dec 2009 19:44:15 +0900
Subject: [fess-user 52] Re:
 =?iso-2022-jp?b?GyRCJS8lbSE8JWtCUD5dGyhCKBskQjMwGyhCKVVSTCA=?=
 =?iso-2022-jp?b?GyRCJEgbKEIgGyRCOCE6d0JQPl0bKEIoGyRCMzAbKEIpVVJMIA==?=
 =?iso-2022-jp?b?GyRCJE47SCQkSn0bKEI=?=
In-Reply-To: <d47064910912210110u3e8db27ek132c55016c5ffe2d@mail.gmail.com>
References: <d47064910912210110u3e8db27ek132c55016c5ffe2d@mail.gmail.com>
Message-ID: <200912211044.AA12121@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

ご説明ありがとうございます。

>簡単ではありますが、
>http://fess.sourceforge.jp/ja/1.2/admin/webCrawlingConfig-guide.html
>にまとめてみました。

ここを拝見しながらやっているのですが、最初に間違って思い込んでしま
うとうまく理解ができないのだろうと思います。

説明していただいてようやくわかりました。

「検索対象とするURL |
検索除外対象とする URL と指定されていても、ここでの指定が優先されます。 」

...にある意味は、例えば「*.doc ファイルだけ検索したいとき」は、検
索除外対象でいったん全部除外にしておいてから *.doc 分を検索対象 
URL に指定しなさい... という意味ですね？

...で

「検索対象から除外するURL |
指定された正規表現の URL をクロール対象としません。」

...とありますが、「検索対象としません。」の間違いではありませんか？

「クロール対象から除外するURL」に指定してしまうと *.doc だけ見よう
と穴をあけても、元がないので見られないということですね？

>菅谷です。
>
>ややこしくなって申し訳ありません。その機能を
>追加した動機は、クロールしていくけど、その中の
>一部は検索対象にしたくないようなことから来てます。
>たとえば、一覧と詳細ページがあったとして、一覧
>ページをクロールの開始地点にして、検索結果には
>詳細ページだけにしたいような場合です(一覧ページは
>結果に表示しない)。このような場合は、「検索対象から
>除外するURL」に一覧ページを指定します。
>
>簡単ではありますが、
>http://fess.sourceforge.jp/ja/1.2/admin/webCrawlingConfig-guide.html
>にまとめてみました。
>
>> クロール対象 URL とは...
>
>クロールする対象 URL になります。検索対象 URLで何も
>指定しなければ、今まで通り、検索対象としてSolr に投入
>されます。
>
>> 検索対象 URL とは...
>
>検索対象として Solr に投入される URL になります。
>クロール対象となった URL を Solr に投入するかどうか
>(検索結果に入れるか) を制御します。
>
>> ・クロール対象 URL に指定してあれば、検索するとヒットするように
>>  思いますが、それで正解でしょうか？
>
>検索対象 URL (除外も)で何も指定しなければ、Solr に投入
>され、検索にヒットします。検索対象 URL が指定されていれば
>それにマッチするかどうかで、検索にヒットするか決まります。
>
>> ・クロール対象 URL 内のドキュメントにクロール対象外へのリンクが
>>  ある場合、リンク先のドキュメントは検索対象になるでしょうか？
>
>クロール対象外であれば、検索にはヒットしません。
>
>> ・上記の場合、検索対象をクロール対象内に閉じ込めたいときは、検
>>  索対象 URL にクロール対象 URL と同じ正規文字列検索式を入れて
>>  おく必要がありますか？
>
>検索対象はクロール対象に含まれます。
>検索対象の URL はクロール対象の中での条件をしてすれば
>OK です。同じものを指定する必要はありません。
>
>たとえば、従来通り、クロール対象で指定して、ある部分の
>ドキュメントだけ検索結果に表示したくない場合に、「検索対象から
>除外するURL」にそれを指定するような使い方があると思います。
>
>よろしくお願いいたします。
>
># ドキュメントに例を書いた方がよさそうですね…(反省)
>
>shinsuke
>
>
>
>2009年12月21日15:48 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
>> 柴田＠亀岡市です。
>>
>> 非常に基本的な質問で恐縮なのですが...
>>
>> クロール対象 URL とは...
>> 対象 URL のドキュメント中にリンクがないか探しに行く。
>>
>> 検索対象 URL とは...
>> 対象 URL のドキュメント中に検索文字がないか探しに行く。
>>
>> ...と思っているのですが、
>>
>> ・クロール対象 URL に指定してあれば、検索するとヒットするように
>>  思いますが、それで正解でしょうか？
>>
>> ・クロール対象 URL 内のドキュメントにクロール対象外へのリンクが
>>  ある場合、リンク先のドキュメントは検索対象になるでしょうか？
>>
>> ・上記の場合、検索対象をクロール対象内に閉じ込めたいときは、検
>>  索対象 URL にクロール対象 URL と同じ正規文字列検索式を入れて
>>  おく必要がありますか？
>>
>> ちょっと一番上の質問の部分で混乱しておりますので、とんちんかん
>> な質問をしてしまっているのかも知れませんが、ご教示いただけると
>> 助かります。
>>
>> _______________________________________________
>> Fess-user mailing list
>> Fess-user ＠ lists.sourceforge.jp
>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>
>
>_______________________________________________
>Fess-user mailing list
>Fess-user ＠ lists.sourceforge.jp
>http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From mshibata ＠ shimadzu.co.jp  Mon Dec 21 21:28:15 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Mon, 21 Dec 2009 21:28:15 +0900
Subject: [fess-user 53] Re:
 =?iso-2022-jp?b?GyRCJS8lbSE8JWtCUD5dGyhCKBskQjMwGyhCKVVSTCA=?=
 =?iso-2022-jp?b?GyRCJEgbKEIgGyRCOCE6d0JQPl0bKEIoGyRCMzAbKEIpVVJMIA==?=
 =?iso-2022-jp?b?GyRCJE47SCQkSn0bKEI=?=
In-Reply-To: <d47064910912210110u3e8db27ek132c55016c5ffe2d@mail.gmail.com>
References: <d47064910912210110u3e8db27ek132c55016c5ffe2d@mail.gmail.com>
Message-ID: <200912211228.AA12123@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

まだ微妙にわかっていないようで少し迷いがあります。

以下の (1)、(2) のところなのですが、当初 Allow → Deny の方向
に設定するのだと思い込んでいて、除外対象設定より対象設定が優先
される旨の記述と合わないなぁと思っておりました。

-----設定例ここまで-----
[URL]
'http://hostname/svn/'

[クロール対象とするURL]
現行: 'http://hostname/svn/.*' → ◎ 空に？(1)

[クロール対象から除外するURL]
'http://hostname/svn/NeedlessPrj1(|/.*)'
'http://hostname/svn/NeedlessPrj2(|/.*)'

[検索対象とするURL]
'.*\.doc$'

[検索対象から除外するURL]
現行: 空 → '.*' に (2)
-----設定例ここまで-----

その疑問は先にご説明していただいて Deny → Allow の方向で設定
して、いったん全部塞いでから穴をあけるのだと気づきましたので、
検索対象の方は、例えば拡張子 doc のファイルだけ検索したいとき
は、上記の設定 (2) でよさそうに思います。

迷っているのはクロール対象の方 (1) です。

塞ぎたいのは NeedlessPrj1 と NeedlessPrj2 だけで、ほかはクロー
ル対象にしたいので、Deny → Allow だとすると設定を空にしておく
のが正解だとは思うのですが、

http://fess.sourceforge.jp/ja/1.2/admin/webCrawlingConfig-guide.html
...の

「http://localhost/ 以下しかクロールしない場合は、クロール対象
とする URL に http://localhost/.* また (中略) と指定します。」

...が Allow → Deny で説明されているような気がするので、読んで
いてわからなくなりました。
＃除外対象「.*\.png$」に対象 URL 「http://localhost/.*」が勝つ
＃のなら「http://localhost/.*\.png$」は対象に含まれるのでは？

検索対象の方は Deny → Allow 順で、クロール対象の方は Allow →
Deny 順に解釈する (除外設定が優先) ということはありませんでし
ょうか？

だとすると現行の説明...
[クロール対象とする URL]
指定された正規表現の URL をクロールします。クロール除外対象とする URL と指定されていても、ここ
での指定が優先されます。 
[クロール対象から除外するURL]
指定された正規表現の URL をクロール対象としません。 

...は、以下のようになるのではないかという気がします。
[クロール対象とする URL]
指定された正規表現の URL をクロールします。
[クロール対象から除外するURL]
指定された正規表現の URL をクロール対象としません。 クロール対象とする URL が指定されていて
も、ここでの指定が優先されます。 


From shinsuke ＠ yahoo.co.jp  Tue Dec 22 08:46:14 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Tue, 22 Dec 2009 08:46:14 +0900
Subject: [fess-user 54] Re:
	=?iso-2022-jp?b?GyRCJS8lbSE8JWtCUD5dGyhCKBskQjMwGyhCKVVSTCA=?=
	=?iso-2022-jp?b?GyRCJEgbKEIgGyRCOCE6d0JQPl0bKEIoGyRCMzAbKEIpVVJM?=
	=?iso-2022-jp?b?IBskQiROO0gkJEp9GyhC?=
In-Reply-To: <200912211228.AA12123@ea8055.shimadzu.co.jp>
References: <d47064910912210110u3e8db27ek132c55016c5ffe2d@mail.gmail.com>
	<200912211228.AA12123@ea8055.shimadzu.co.jp>
Message-ID: <d47064910912211546g2a95db4ekf138f3879d0969d1@mail.gmail.com>

菅谷です。

> 検索対象の方は Deny → Allow 順で、クロール対象の方は Allow →
> Deny 順に解釈する (除外設定が優先) ということはありませんでし
> ょうか？

はい。申し訳ありません、おっしゃる通りです。
クロール対象と検索対象のところの処理が同じかと
勘違いしてました(すっかり忘れてました…)。
ご指摘いただきありがとうございます。
サイトの方は修正しました。

shinsuke


2009年12月21日21:28 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
> 柴田＠亀岡市です。
>
> まだ微妙にわかっていないようで少し迷いがあります。
>
> 以下の (1)、(2) のところなのですが、当初 Allow → Deny の方向
> に設定するのだと思い込んでいて、除外対象設定より対象設定が優先
> される旨の記述と合わないなぁと思っておりました。
>
> -----設定例ここまで-----
> [URL]
> 'http://hostname/svn/'
>
> [クロール対象とするURL]
> 現行: 'http://hostname/svn/.*' → ◎ 空に？(1)
>
> [クロール対象から除外するURL]
> 'http://hostname/svn/NeedlessPrj1(|/.*)'
> 'http://hostname/svn/NeedlessPrj2(|/.*)'
>
> [検索対象とするURL]
> '.*\.doc$'
>
> [検索対象から除外するURL]
> 現行: 空 → '.*' に (2)
> -----設定例ここまで-----
>
> その疑問は先にご説明していただいて Deny → Allow の方向で設定
> して、いったん全部塞いでから穴をあけるのだと気づきましたので、
> 検索対象の方は、例えば拡張子 doc のファイルだけ検索したいとき
> は、上記の設定 (2) でよさそうに思います。
>
> 迷っているのはクロール対象の方 (1) です。
>
> 塞ぎたいのは NeedlessPrj1 と NeedlessPrj2 だけで、ほかはクロー
> ル対象にしたいので、Deny → Allow だとすると設定を空にしておく
> のが正解だとは思うのですが、
>
> http://fess.sourceforge.jp/ja/1.2/admin/webCrawlingConfig-guide.html
> ...の
>
> 「http://localhost/ 以下しかクロールしない場合は、クロール対象
> とする URL に http://localhost/.* また (中略) と指定します。」
>
> ...が Allow → Deny で説明されているような気がするので、読んで
> いてわからなくなりました。
> ＃除外対象「.*\.png$」に対象 URL 「http://localhost/.*」が勝つ
> ＃のなら「http://localhost/.*\.png$」は対象に含まれるのでは？
>
> 検索対象の方は Deny → Allow 順で、クロール対象の方は Allow →
> Deny 順に解釈する (除外設定が優先) ということはありませんでし
> ょうか？
>
> だとすると現行の説明...
> [クロール対象とする URL]
> 指定された正規表現の URL をクロールします。クロール除外対象とする URL と指定されていても、ここ
> での指定が優先されます。
> [クロール対象から除外するURL]
> 指定された正規表現の URL をクロール対象としません。
>
> ...は、以下のようになるのではないかという気がします。
> [クロール対象とする URL]
> 指定された正規表現の URL をクロールします。
> [クロール対象から除外するURL]
> 指定された正規表現の URL をクロール対象としません。 クロール対象とする URL が指定されていて
> も、ここでの指定が優先されます。
>
> _______________________________________________
> Fess-user mailing list
> Fess-user ＠ lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From mshibata ＠ shimadzu.co.jp  Tue Dec 22 17:02:34 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Tue, 22 Dec 2009 17:02:34 +0900
Subject: [fess-user 55] =?iso-2022-jp?b?GyRCSVQ2cTlnMj9FQCQrGyhC?=
Message-ID: <200912220802.AA12124@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

fess-server-1.2.0-SNAPSHOT.zip の本日 10時頃に取得した
スナップショットで...

・検索ページにラベル欄が出てこなくなりました。

・以前からかも知れませんが、バックアップ XML からリストアする
  と「ブースト値」が１に初期化されます。

・これも以前からかも知れませんが、検索ページで検索式に * を一
  個だけ入れて［検索］をクリックすると HTTP ステータス 500 な
  る例外レポートが表示されます。

----------
Shibata, Masayuki
Manager, Software Development
Shimadzu Corporation
Analytical Measuring Instruments Division
Research & Development Department
Telephone:  075-823-1441 Japan
Facsimile:  075-823-1365 Japan
E-mail: mshibata ＠ shimadzu.co.jp


From shinsuke ＠ yahoo.co.jp  Wed Dec 23 07:40:00 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Wed, 23 Dec 2009 07:40:00 +0900
Subject: [fess-user 56] Re: =?iso-2022-jp?b?GyRCSVQ2cTlnMj9FQCQrGyhC?=
In-Reply-To: <200912220802.AA12124@ea8055.shimadzu.co.jp>
References: <200912220802.AA12124@ea8055.shimadzu.co.jp>
Message-ID: <d47064910912221440k5c73a32dv16c6b504e1ed1f1c@mail.gmail.com>

菅谷です。

ご指摘いただきありがとうございます。

> ・検索ページにラベル欄が出てこなくなりました。

先々週くらいのビルドでは検索トップページにラベルが
表示されない問題があって修正したのですが、現在の
ビルドでは特に問題ないように見えますが、ラベルが
1 つ以上登録してある状態で表示されない状態でしょうか?

> ・以前からかも知れませんが、バックアップ XML からリストアする
>  と「ブースト値」が１に初期化されます。

すいません、保存する際にブースト値が含まれていません
でした。修正しました。

> ・これも以前からかも知れませんが、検索ページで検索式に * を一
>  個だけ入れて［検索］をクリックすると HTTP ステータス 500 な
>  る例外レポートが表示されます。

* 以外にも $ とかも同様だったので、修正しました。

よろしくお願いいたします。

shinsuke

2009年12月22日17:02 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
> 柴田＠亀岡市です。
>
> fess-server-1.2.0-SNAPSHOT.zip の本日 10時頃に取得した
> スナップショットで...
>
> ・検索ページにラベル欄が出てこなくなりました。
>
> ・以前からかも知れませんが、バックアップ XML からリストアする
>  と「ブースト値」が１に初期化されます。
>
> ・これも以前からかも知れませんが、検索ページで検索式に * を一
>  個だけ入れて［検索］をクリックすると HTTP ステータス 500 な
>  る例外レポートが表示されます。
>
> ----------
> Shibata, Masayuki
> Manager, Software Development
> Shimadzu Corporation
> Analytical Measuring Instruments Division
> Research & Development Department
> Telephone:  075-823-1441 Japan
> Facsimile:  075-823-1365 Japan
> E-mail: mshibata ＠ shimadzu.co.jp
>
> _______________________________________________
> Fess-user mailing list
> Fess-user ＠ lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From shinsuke ＠ yahoo.co.jp  Wed Dec 23 10:16:32 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Wed, 23 Dec 2009 10:16:32 +0900
Subject: [fess-user 57] Re:
	=?iso-2022-jp?b?GyRCST08KCQ1JGwkSiQkSjg7eiROOCE6dxsoQg==?=
In-Reply-To: <200912210218.AA12112@ea8055.shimadzu.co.jp>
References: <d47064910912201742q63e7ce87j754477100382ede3@mail.gmail.com>
	<200912210218.AA12112@ea8055.shimadzu.co.jp>
Message-ID: <d47064910912221716l2fb28c32i277b0142f4d1b70b@mail.gmail.com>

菅谷です。

情報をありがとうございます。
本件を対応しました。

noscript タグはデフォルトで捨てることにしました。
script タグについては利用環境によると思うので、
今まで通り検索対象となります。script タグも捨てるには
webapps/fess/WEB-INF/classes/s2robot_transformer.dicon
の

<initMethod name="addPrunedTag">
    <arg>"script"</arg>
</initMethod>

を有効にするとscriptタグが無視されます。その他に
無視するタグがあれば、ここで指定することが可能です。

よろしくお願いいたします。

shinsuke


2009年12月21日11:18 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
> 柴田＠亀岡市です。
>
> そうです。HTML body の頭の方にこんな感じで記述されているようです。
>
> <body style="">
>    <noscript>
>        <div class="errorHeaderMsg">
>            このブラウザは、JavaScript が無効になっています。JavaScriptを有効にして
>            再度、お越しください。
>        </div>
>    </noscript>
>    <script type="text/javascript">
>        if (document.cookie == "") {document.write('
>            <div class="errorHeaderMsg">
>                このブラウザは、Cookie が無効になっています。Cookieを有効にして再度、
>                お越しください。
>            </div>
>        ');}
>    </script>
> ...
>
>
>>菅谷です。
>>
>>ご指摘いただきありがとうございます。
>>対策を検討したいと思います。
>>
>>もし簡単にわかるようでしたら教えていただきたい
>>のですが、「if(document.cookie == "")…」はおそらく
>>script のタグあたりに囲まれていると思うのですが、
>>
>>> このブラウザは、JavaScript が無効になっています。JavaScriptを有効にして再度、お越しくださ
> い。
>>
>>上記の文は script タグの中に入っているものでしょうか?
>>
>>shinsuke
>>
>>
>>2009年12月21日10:20 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
>>> 柴田＠亀岡市です。
>>>
>>> 当方イントラでクロールした状況での結果ですので、一般的なもの
>>> ではないと思いますが、「ブラウザ」とか「JavaScript」で検索を
>>> かけると、大量にヒットしてそのほとんどに以下のようなダイジェ
>>> スト文字列が表示されてます。
>>>
>>> ----- ここから -----
>>> このブラウザは、JavaScript が無効になっています。JavaScriptを有効にして再度、お越しくださ
> い。if
>>> (document.cookie == "") {document.write('<div class="errorHeaderMsg">このブラウザは、Cookie
> が無
>>> 効になっています。Cookieを有効にして再度、お越しください。</div>');} ログイン あなた...
>>> ----- ここまで -----
>>>
>>> 特定の Web システムで画面周辺のメニューやボタンの定型文字がヒ
>>> ットしてコンテンツ部分がノイズに埋もれるのは、まだメニューやボ
>>> タンの文字が見えているのでやむを得ないのはわかるのですが、特定
>>> の条件が成立しないと出力されないものが検索対象になってしまうの
>>> はそういうものでしょうか？
>>>
>>> _______________________________________________
>>> Fess-user mailing list
>>> Fess-user ＠ lists.sourceforge.jp
>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>>
>>
>>_______________________________________________
>>Fess-user mailing list
>>Fess-user ＠ lists.sourceforge.jp
>>http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>
>
> _______________________________________________
> Fess-user mailing list
> Fess-user ＠ lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From mshibata ＠ shimadzu.co.jp  Thu Dec 24 09:17:05 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Thu, 24 Dec 2009 09:17:05 +0900
Subject: [fess-user 58] Re: =?iso-2022-jp?b?GyRCSVQ2cTlnMj9FQCQrGyhC?=
In-Reply-To: <d47064910912221440k5c73a32dv16c6b504e1ed1f1c@mail.gmail.com>
References: <d47064910912221440k5c73a32dv16c6b504e1ed1f1c@mail.gmail.com>
Message-ID: <200912240017.AA12128@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

>> ・検索ページにラベル欄が出てこなくなりました。
>
>先々週くらいのビルドでは検索トップページにラベルが
>表示されない問題があって修正したのですが、現在の
>ビルドでは特に問題ないように見えますが、ラベルが
>1 つ以上登録してある状態で表示されない状態でしょうか?

12/22 の 11時過ぎには次のビルドになっており、それを取得して
動かした際には、ラベルは表示されるようになっていました。

修正反映のタイミングと合わないような気はしますが、今は直って
ます。

ブラウザのキャッシュに残っているなどの原因があるのかも知れま
せん。

お騒がせしました。


From shinsuke ＠ yahoo.co.jp  Thu Dec 24 09:45:51 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Thu, 24 Dec 2009 09:45:51 +0900
Subject: [fess-user 59] Re: =?iso-2022-jp?b?GyRCSVQ2cTlnMj9FQCQrGyhC?=
In-Reply-To: <200912240017.AA12128@ea8055.shimadzu.co.jp>
References: <d47064910912221440k5c73a32dv16c6b504e1ed1f1c@mail.gmail.com>
	<200912240017.AA12128@ea8055.shimadzu.co.jp>
Message-ID: <d47064910912231645v5e83843bla01e44c2e908b6b2@mail.gmail.com>

菅谷です。

確認していただきありがとうございます！
安心しました。

shinsuke

2009年12月24日9:17 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
> 柴田＠亀岡市です。
>
>>> ・検索ページにラベル欄が出てこなくなりました。
>>
>>先々週くらいのビルドでは検索トップページにラベルが
>>表示されない問題があって修正したのですが、現在の
>>ビルドでは特に問題ないように見えますが、ラベルが
>>1 つ以上登録してある状態で表示されない状態でしょうか?
>
> 12/22 の 11時過ぎには次のビルドになっており、それを取得して
> 動かした際には、ラベルは表示されるようになっていました。
>
> 修正反映のタイミングと合わないような気はしますが、今は直って
> ます。
>
> ブラウザのキャッシュに残っているなどの原因があるのかも知れま
> せん。
>
> お騒がせしました。
>
> _______________________________________________
> Fess-user mailing list
> Fess-user ＠ lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From mshibata ＠ shimadzu.co.jp  Mon Dec 28 16:36:59 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Mon, 28 Dec 2009 16:36:59 +0900
Subject: [fess-user 60] Re: =?iso-2022-jp?b?GyRCSVQ2cTlnMj9FQCQrGyhC?=
In-Reply-To: <d47064910912231645v5e83843bla01e44c2e908b6b2@mail.gmail.com>
References: <d47064910912231645v5e83843bla01e44c2e908b6b2@mail.gmail.com>
Message-ID: <200912280736.AA12145@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

再発しまして、ブラウザのキャッシュをクリアしたり色々やってみた
結果...

・何もインデックスがない状態から複数ラベルのインデックスを作っ
  ただけでは、検索画面でラベルプルダウンは表示されなかった。

・複数ラベルのインデックスを作った後、Fess を再起動するとラベ
  ルプルダウンが表示されるようになった。

...ような感じです。

画面更新のタイミングモレということはありませんでしょうか？

>菅谷です。
>
>確認していただきありがとうございます！
>安心しました。
>
>shinsuke
>
>2009年12月24日9:17 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
>> 柴田＠亀岡市です。
>>
>>>> ・検索ページにラベル欄が出てこなくなりました。
>>>
>>>先々週くらいのビルドでは検索トップページにラベルが
>>>表示されない問題があって修正したのですが、現在の
>>>ビルドでは特に問題ないように見えますが、ラベルが
>>>1 つ以上登録してある状態で表示されない状態でしょうか?
>>
>> 12/22 の 11時過ぎには次のビルドになっており、それを取得して
>> 動かした際には、ラベルは表示されるようになっていました。
>>
>> 修正反映のタイミングと合わないような気はしますが、今は直って
>> ます。
>>
>> ブラウザのキャッシュに残っているなどの原因があるのかも知れま
>> せん。
>>
>> お騒がせしました。
>>
>> _______________________________________________
>> Fess-user mailing list
>> Fess-user ＠ lists.sourceforge.jp
>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>
>
>_______________________________________________
>Fess-user mailing list
>Fess-user ＠ lists.sourceforge.jp
>http://lists.sourceforge.jp/mailman/listinfo/fess-user
>

----------
Shibata, Masayuki
Manager, Software Development
Shimadzu Corporation
Analytical Measuring Instruments Division
Research & Development Department
Telephone:  075-823-1441 Japan
Facsimile:  075-823-1365 Japan
E-mail: mshibata ＠ shimadzu.co.jp


From shinsuke ＠ yahoo.co.jp  Mon Dec 28 18:15:15 2009
From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya)
Date: Mon, 28 Dec 2009 18:15:15 +0900
Subject: [fess-user 61] Re: =?iso-2022-jp?b?GyRCSVQ2cTlnMj9FQCQrGyhC?=
In-Reply-To: <200912280736.AA12145@ea8055.shimadzu.co.jp>
References: <d47064910912231645v5e83843bla01e44c2e908b6b2@mail.gmail.com>
	<200912280736.AA12145@ea8055.shimadzu.co.jp>
Message-ID: <d47064910912280115w3a4e5a20kd24a030a7491e09c@mail.gmail.com>

菅谷です。

ラベル表示の部分については、パフォーマンスを考えて、
値をキャッシュするようにしているので、そのキャッシュ
更新もれで表示されない可能性もあるのかと考えています。

ラベルについてまとめますと、

・ラベルの登録・更新・削除時にラベルのキャッシュを
  更新する。
・起動時にラベルのキャッシュが作られる。
・ラベルの値取得は Solr からは取得していない。
  ですので、インデックスが作成されているかどうかに
  関係なく、ラベルが Fess DB に存在すれば検索画面に
  表示されます

というように、このメールを書きながら、あれこれと
可能性を考えていたのですが、もしかして、Fess の
データリストア後に発生しているのではないでしょうか?
このケースの場合、再起動かラベルの更新をしないと
検索結果のラベルが更新されないので、以下のチケットで
修正しました。

http://sourceforge.jp/ticket/browse.php?group_id=4342&tid=20043

ですので、更新漏れでした(申し訳ありません…)。
これ以外のパターンでも問題があるようでしたら、
また、必死にあれこれと考えたいと思います。
ご指摘頂きありがとうございました。
よろしくお願いいたします。

shinsuke


2009年12月28日16:36 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
> 柴田＠亀岡市です。
>
> 再発しまして、ブラウザのキャッシュをクリアしたり色々やってみた
> 結果...
>
> ・何もインデックスがない状態から複数ラベルのインデックスを作っ
>  ただけでは、検索画面でラベルプルダウンは表示されなかった。
>
> ・複数ラベルのインデックスを作った後、Fess を再起動するとラベ
>  ルプルダウンが表示されるようになった。
>
> ...ような感じです。
>
> 画面更新のタイミングモレということはありませんでしょうか？
>
>>菅谷です。
>>
>>確認していただきありがとうございます！
>>安心しました。
>>
>>shinsuke
>>
>>2009年12月24日9:17 Masayuki Shibata <mshibata ＠ shimadzu.co.jp>:
>>> 柴田＠亀岡市です。
>>>
>>>>> ・検索ページにラベル欄が出てこなくなりました。
>>>>
>>>>先々週くらいのビルドでは検索トップページにラベルが
>>>>表示されない問題があって修正したのですが、現在の
>>>>ビルドでは特に問題ないように見えますが、ラベルが
>>>>1 つ以上登録してある状態で表示されない状態でしょうか?
>>>
>>> 12/22 の 11時過ぎには次のビルドになっており、それを取得して
>>> 動かした際には、ラベルは表示されるようになっていました。
>>>
>>> 修正反映のタイミングと合わないような気はしますが、今は直って
>>> ます。
>>>
>>> ブラウザのキャッシュに残っているなどの原因があるのかも知れま
>>> せん。
>>>
>>> お騒がせしました。
>>>
>>> _______________________________________________
>>> Fess-user mailing list
>>> Fess-user ＠ lists.sourceforge.jp
>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>>
>>
>>_______________________________________________
>>Fess-user mailing list
>>Fess-user ＠ lists.sourceforge.jp
>>http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>
>
> ----------
> Shibata, Masayuki
> Manager, Software Development
> Shimadzu Corporation
> Analytical Measuring Instruments Division
> Research & Development Department
> Telephone:  075-823-1441 Japan
> Facsimile:  075-823-1365 Japan
> E-mail: mshibata ＠ shimadzu.co.jp
>
> _______________________________________________
> Fess-user mailing list
> Fess-user ＠ lists.sourceforge.jp
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>


From mshibata ＠ shimadzu.co.jp  Mon Dec 28 19:11:11 2009
From: mshibata ＠ shimadzu.co.jp (Masayuki Shibata)
Date: Mon, 28 Dec 2009 19:11:11 +0900
Subject: [fess-user 62]
 =?iso-2022-jp?b?GyRCJUAlJCU4JSclOSVISjg7ek5zJHI9UCQ1JEokJEp9GyhC?=
 =?iso-2022-jp?b?GyRCSyEbKEI=?=
Message-ID: <200912281011.AA12146@ea8055.shimadzu.co.jp>

柴田＠亀岡市です。

以前の話題とは逆で、今度はダイジェスト文字列を出さずにリンクだけ提供
したいというケースで何か方法はあるかお聞かせください。
＃無いならないで結構ですし、急ぎません。当方ももう年末年始モードに入
＃りますので...

要はファイル名一覧のような状態でリンクを提供する用途です。
＃Windows のファイル検索のイメージです。

・たくさんヒットするので１画面にできるだけ表示したい。
・リンク先ファイルに読み取り権のある人にだけ中身を見せたい。

後者はリンク先を開くときに認証がかかるようなケースで、リンクの下に
ダイジェストが表示されると、権限のない人でも検索しまくればその文字
をつなぎ合わせて文書の中身が再現できてしまうという状態を回避したい
場合に使い途があります。

クロールされる側 (この場合イメージしているのは Subversion です) に
固定にキーワードを返す機能があれば無事中身は見えない算段ですが、そ
の表示に最低一行とられると前者の要求的に満たせなくなるので、Fess 
側でそれができるとよいのにと思った次第です。

----------
Shibata, Masayuki
Manager, Software Development
Shimadzu Corporation
Analytical Measuring Instruments Division
Research & Development Department
Telephone:  075-823-1441 Japan
Facsimile:  075-823-1365 Japan
E-mail: mshibata ＠ shimadzu.co.jp