2-/執筆者ページ/日記投稿
1. 2008/02/15 同日2番目 検索エンジンレポート > クローラー > YodaoBot-Image」コメントする/記事編集/削除/共有分類に追加

http://image.yodao.com/       
というサイトからのリファラーが最近多い。  
調べてみると、           
Mozilla/5.0 (compatible;YodaoBot-Image/1.0;http://www.yodao.com/help/webmaster/spider/;)    
というユーザーエージェントでクロールするついでに、refererにそのサイトのURLを残しているようだ。       
これはクロールついでにRefererを残して宣伝するという行為であるみたいだけれども、もちろんこういうのは反則。           
国で差別するわけではないのですが、実際の話として中国の検索エンジンは行儀が悪いのが多いですね。    
百度は昔はrobots.txtを無視してガンガン取っていたのが、結果的に日本への進出において日本の多くのサイト側にブロックされるような事態になり、robots.txtにある程度従うように最近改善されましたが。 
  
特にYodao側からトラフィックが生じているようではなかったのでアクセスを遮断した。           
ちなみにうちはFirewallではなくhttpdレベルで対応してしまっているが、複数のサーバーを管理することを考えるとちょっと疲れる。         
    
ブロック条件を定義しているhttpd.confはそのままではサーバー毎に違う設定だから、一つ編集したらそれをそのまま他にコピーすれば良いというわけではない。
何かもっと良い方法を考えなくては。
多分confの一部を分離する技法があると思われるので、後で調べてみようと思う。
なければ自分でFirewallレイヤーのモジュールを作るか。


2-/執筆者ページ/日記投稿


Myページ 作品DB(友達招待) 最速検索