[Tep-j-general] Re: spider_configure について

Zurück zum Archiv-Index

TAMURA Toshihiko tamur****@bitsc*****
2004年 12月 18日 (土) 10:45:43 JST


こんにちは、田村です。

kushima michio さん:

> 以前のスレッドで、ms1 では、検索エンジン対策として、
> spider_configure.php を導入するというのがありました。
> ms2 には必要ないともかかれていたと思います。
> 
> http://www.webconfs.com/search-engine-spider-simulator.php
> 
> にてチェックできるようなことも書いてあったと思うのですが、
> これ、MS2をインストールして、うまく動作しているか確認できるのでしょうか。
> もしくは、他に確認できる方法ないのでしょうか。

MS1 の SpiderKiller もそうですが、一般には、
サイトにアクセスしたロボットを見分けるには USER AGENT で判別します。
その上でロボット向けにはセッションIDの付かないリンクを作るなど
挙動を変えることになります。

上の search-engine-spider-simulator がどんな USER AGENT で
アクセスしているか分かりませんので、これによって判断はできないです。
(Apacheのアクセスログを見れば分かりますが。)

SpiderKiller の動作を確認するには、
ブラウザを以下のように設定してサイトにアクセスしてみればいいです。

 a) Cookie を無効にする。
 b) USER AGENT をロボットと同じものに切り替える。

b) は、例えば Firefox では User Agent Switcher のような拡張機能が
公開されています。

-- 
田村敏彦 / 株式会社ビットスコープ
E-mail:tamur****@bitsc*****
http://www.bitscope.co.jp/





Tep-j-general メーリングリストの案内
Zurück zum Archiv-Index