hamada
bungu****@leo*****
2004年 11月 6日 (土) 15:37:19 JST
こんにちわ。 On Fri, 05 Nov 2004 18:18:18 +0900 TAMURA Toshihiko <tamur****@bitsc*****> wrote: > セッション管理や検索エンジン対策の問題がありますので > SpiderKiller は必須のモジュールだと考えまして、 > これを MS1J に組み込みました。 これはいいですね。MS2も標準でSpiderKillerを組み込んでるそうですし、実際 に「SpiderKillerの組み込みに失敗した」なんて質問もありましたんで、最初か ら組み込んでるに越したことはないかと。 > これら以外のキーワードでおすすめのものがあれば教えてください。 Alexaの「ia_archiver」は要りそうな気がします。 あと > Mediapartners-Google/2.1 > Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com) なんてのも時々見掛けます。 Agent見ると画像収拾系ロボットみたいなんですが、ページ拾って行くときに時 々混じってたり。 あとは大体「bot」とか付いてますね。 複数のIPからやってきて > /catalog/product_info.php/cPath/223_202_221_203/ > /catalog/product_info.php/cPath/ > /catalog/product_info.php/ みたいに「ディレクトリ構造を遡ろうとする」謎のUA「1.0」なんてのもありま すけど、これはまったく正体不明だし、UAも汎用的すぎて誤判定を招きそうなん で対応のしようがない…(^_^;) （なんの確証もありませんが、たぶんこれはメールアドレス収拾エージェントと かそんなので、「検索エンジンのクローラー」ではないと思います。robots.txt に見向きもしないし、そもそもやって来る先が多岐にわたり過ぎ） はまだ
