2-/執筆者ページ/日記投稿
1. 2006/03/09 同日2番目 検索エンジンレポート > Yahoo > Y!J-BSCのクロール負荷対策」コメントする/記事編集/削除/共有分類に追加

Y!J-BSCが一日で2万を超えるリクエストを投げる日が続いていた。       
Y!J-BSCは、その説明書き  
http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html           
を見ると、Yahoo! Japanが独自に研究目的で運用しているとのこと。    
研究目的で、これだけの負荷をかけられるのは割に合わない。       
robots.txtで、           
User-agent: Y!J-BSC    
Disallow: /
と書いてみたが、robots.txtには、従わない。 
仕方ないので、httpd.confでアクセスを拒絶してみた(403を返すようにしてみた)。  
           
そしたら、それが関係するのか分らないが、Yahoo!からのアクセス数が減少した(仮に因果関係があるのなら、デッドリンクチェック等に使っているということになるが)。         
    
なので、
Yahoo! JAPAN独自に、研究・開発・メンテナンスなどの目的で、以下のクローラーを管理、運営しています。クローラーの巡回を拒否したい場合は、ページ下部の[いいえ]ボタンを押して、お問い合わせフォームからご連絡ください。
Y!J-DSC
Y!J-BSC
の記述に従って、ウェブページのヘルプからクロールを止めて頂くようにお願いしてみた。
そしたら、クロールを止めて頂けた。
やったー。
サポートって運用コストがかかるけど、きちんとまわしているんですね。
次は、このサイトに一番の負荷をかけているGooglebotの方も、ヘルプからお願いしてみようかな。


2-/執筆者ページ/日記投稿


Myページ 作品DB(友達招待) 最速検索