From saitama.cmcc ＠ gmail.com Wed Nov 13 22:00:15 2013 From: saitama.cmcc ＠ gmail.com (All Hide) Date: Wed, 13 Nov 2013 22:00:15 +0900 Subject: [fess-user 801] =?iso-2022-jp?b?cm9ib3RzLnR4dCAbJEIkTjA3JCQkSyREJCQkRhsoQg==?= Message-ID: 三浦と申します。 個人的なサイト用に検索エンジンを設定しようと思い、fess-server-8.2.0 をテスト中です。 このサイトには robots.txt が置いてあり、以下のように設定しました。 User-agent: testbot allow: / User-agent: * Disallow: /secret/ ここで allow に用いたユーザエージェントは「ウェブクロールの設定」にあるユーザエージェントに 同じ文字列を指定しました。結果としてクロールの URL で指定した secret 直下にある index.html 以外は 検索してくれません。 何か根本的な勘違いをしているような気がしてならないので色々とあがいてみたのですが、解決できません。 何かお気づきの方がいらっしゃるようでしたら、ご指摘戴けると幸いです。 よろしくお願い申し上げます。 -------------- next part -------------- HTMLの添付ファイルを保管しました... URL: http://lists.sourceforge.jp/mailman/archives/fess-user/attachments/20131113/56a4160c/attachment.htm From shinsuke ＠ yahoo.co.jp Fri Nov 15 08:11:38 2013 From: shinsuke ＠ yahoo.co.jp (Shinsuke Sugaya) Date: Fri, 15 Nov 2013 08:11:38 +0900 Subject: [fess-user 802] Re: =?iso-2022-jp?b?cm9ib3RzLnR4dCAbJEIkTjA3JCQkSyREJCQkRhsoQg==?= In-Reply-To: References: Message-ID: 菅谷です。 現状では、Fessの画面で設定してもrobots.txtを 見にいくUAはS2Robotになっています。次のバージョンで Fessで指定したUAに当たるようにしたいと思います。 よろしくお願いいたします。 shinsuke 2013年11月13日 22:00 All Hide : > 三浦と申します。 > > 個人的なサイト用に検索エンジンを設定しようと思い、fess-server-8.2.0 をテスト中です。 > このサイトには robots.txt が置いてあり、以下のように設定しました。 > > User-agent: testbot > allow: / > > User-agent: * > Disallow: /secret/ > > ここで allow に用いたユーザエージェントは「ウェブクロールの設定」にあるユーザエージェントに > 同じ文字列を指定しました。結果としてクロールの URL で指定した secret 直下にある index.html 以外は > 検索してくれません。 > > 何か根本的な勘違いをしているような気がしてならないので色々とあがいてみたのですが、解決できません。 > 何かお気づきの方がいらっしゃるようでしたら、ご指摘戴けると幸いです。 > よろしくお願い申し上げます。 > > _______________________________________________ > Fess-user mailing list > Fess-user ＠ lists.sourceforge.jp > http://lists.sourceforge.jp/mailman/listinfo/fess-user > From saitama.cmcc ＠ gmail.com Fri Nov 15 09:20:16 2013 From: saitama.cmcc ＠ gmail.com (=?iso-2022-jp?B?GyRCOzAxOhsoQiAbJEI9KEc3GyhC?=) Date: Fri, 15 Nov 2013 09:20:16 +0900 Subject: [fess-user 803] Re: =?iso-2022-jp?b?cm9ib3RzLnR4dCAbJEIkTjA3JCQkSyREJCQkRhsoQg==?= In-Reply-To: References: Message-ID: <1C4FA8CB-0E79-4F24-82EB-F4DB4821DD96@gmail.com> 三浦です。 菅谷様、了解致しました。 御回答ありがとうございました。 On 2013/11/15, at 8:11, Shinsuke Sugaya wrote: > 菅谷です。 > > 現状では、Fessの画面で設定してもrobots.txtを > 見にいくUAはS2Robotになっています。次のバージョンで > Fessで指定したUAに当たるようにしたいと思います。 > よろしくお願いいたします。 > > shinsuke > > > 2013年11月13日 22:00 All Hide : >> 三浦と申します。 >> >> 個人的なサイト用に検索エンジンを設定しようと思い、fess-server-8.2.0 をテスト中です。 >> このサイトには robots.txt が置いてあり、以下のように設定しました。 >> >> User-agent: testbot >> allow: / >> >> User-agent: * >> Disallow: /secret/ >> >> ここで allow に用いたユーザエージェントは「ウェブクロールの設定」にあるユーザエージェントに >> 同じ文字列を指定しました。結果としてクロールの URL で指定した secret 直下にある index.html 以外は >> 検索してくれません。 >> >> 何か根本的な勘違いをしているような気がしてならないので色々とあがいてみたのですが、解決できません。 >> 何かお気づきの方がいらっしゃるようでしたら、ご指摘戴けると幸いです。 >> よろしくお願い申し上げます。 >> >> _______________________________________________ >> Fess-user mailing list >> Fess-user ＠ lists.sourceforge.jp >> http://lists.sourceforge.jp/mailman/listinfo/fess-user >> > > _______________________________________________ > Fess-user mailing list > Fess-user ＠ lists.sourceforge.jp > http://lists.sourceforge.jp/mailman/listinfo/fess-user