Y!J-BSCが一日で2万を超えるリクエストを投げる日が続いていた。
Y!J-BSCは、その説明書き
http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html
を見ると、Yahoo! Japanが独自に研究目的で運用しているとのこと。
研究目的で、これだけの負荷をかけられるのは割に合わない。
robots.txtで、
User-agent: Y!J-BSC
Disallow: /
と書いてみたが、robots.txtには、従わない。
仕方ないので、httpd.confでアクセスを拒絶してみた(403を返すようにしてみた)。
そしたら、それが関係するのか分らないが、Yahoo!からのアクセス数が減少した(仮に因果関係があるのなら、デッドリンクチェック等に使っているということになるが)。
なので、
Yahoo! JAPAN独自に、研究・開発・メンテナンスなどの目的で、以下のクローラーを管理、運営しています。クローラーの巡回を拒否したい場合は、ページ下部の[いいえ]ボタンを押して、お問い合わせフォームからご連絡ください。
Y!J-DSC
Y!J-BSC
の記述に従って、ウェブページのヘルプからクロールを止めて頂くようにお願いしてみた。
そしたら、クロールを止めて頂けた。
やったー。
サポートって運用コストがかかるけど、きちんとまわしているんですね。
次は、このサイトに一番の負荷をかけているGooglebotの方も、ヘルプからお願いしてみようかな。