hamada
bungu****@leo*****
2004年 10月 12日 (火) 08:46:37 JST
こんにちわ。 On Sun, 10 Oct 2004 19:53:46 +0900 "茅野泰明@DB" <chino****@desig*****> wrote: > ただ、肝心のYahoo!のSlurpに対しては、apacheのアクセスログを見ると、トッ > プページしか取得していないようなのです。以下がその最近のログの一部です。 Yahoo! DE Slurpは新型のスパイダーで、どうもトップページだけしか取得しな いみたいです。確たる証拠が有るわけではないのですが、どうもYahoo!の登録サ イト（というかurl）のみ対象にしているような感じ。 ということで、クロール対象として注目されるべきは「Yahoo! DE Slurp」では なく「Yahoo! Slurp」の動向みたい。 > メーリングリストの過去のログを見たところ、Slurpでもインデックスされてい > るようでしたので、何か違うところがあるのかなと思っています。 Y!Slurpは集中攻撃をせず、多IPから連日ちょこちょこと、その代わりに切れ目 なくだらだらとクロールするようですので、一覧からリンクを追ってサイト全体 をクロールするようになるには少し時間が掛かります。 mklist2をそのまま使われてるとしますと/list/list.htmlと一覧のurlが１段深 くなってしまいますんで、巡回の順番的にもちょっと不利（後回し）になってる 可能性もあります。 もう少し待ってみられるのはどうでしょうか？ はまだ
