http://image.yodao.com/
というサイトからのリファラーが最近多い。
調べてみると、
Mozilla/5.0 (compatible;YodaoBot-Image/1.0;http://www.yodao.com/help/webmaster/spider/;)
というユーザーエージェントでクロールするついでに、refererにそのサイトのURLを残しているようだ。
これはクロールついでにRefererを残して宣伝するという行為であるみたいだけれども、もちろんこういうのは反則。
国で差別するわけではないのですが、実際の話として中国の検索エンジンは行儀が悪いのが多いですね。
百度は昔はrobots.txtを無視してガンガン取っていたのが、結果的に日本への進出において日本の多くのサイト側にブロックされるような事態になり、robots.txtにある程度従うように最近改善されましたが。
特にYodao側からトラフィックが生じているようではなかったのでアクセスを遮断した。
ちなみにうちはFirewallではなくhttpdレベルで対応してしまっているが、複数のサーバーを管理することを考えるとちょっと疲れる。
ブロック条件を定義しているhttpd.confはそのままではサーバー毎に違う設定だから、一つ編集したらそれをそのまま他にコピーすれば良いというわけではない。
何かもっと良い方法を考えなくては。
多分confの一部を分離する技法があると思われるので、後で調べてみようと思う。
なければ自分でFirewallレイヤーのモジュールを作るか。