1. クローラーによるRefererばら撒きスパム
2. 最近の事例その1
3. 海外からの典型的な例
最近はアクセス解析がブログ等にはよくついていることもあり、refererに誘導したいURLをつけてリクエストを投げてきて、トラフィックを誘導しようとするサイトがある。
リンクを張っているわけでもなく、単に機械的なクロールに伴って自分の宣伝したいURLをばら撒く為、数も多い。
そのURLがRefererで一位になってしまったりしてしまい、統計上も迷惑だ。
また、こういうことをすると、結果的にリンクをたくさん張ってもらう状態になるので、ページランクも上げることができる。
クローラーは、通常は、検索エンジンの収集手段ですが、方法を変えると、URLばら撒きスパムに使うことができます。
ただ、そのサイトが得するという問題以外に、貪欲にサイトにアクセスしてきて、負荷をかけるという問題もあるので、遮断する方法も、よく検討する必要があります。
例えば、ちょっと前までは、BlogShotとして運営していたところ、そして今はBlogHeaderとして運用しているところが、そうだ。
当サイトでは、httpd.confで、
RewriteCond %{HTTP_USER_AGENT} BlogHeader
RewriteRule ^.*$ - [F]
のようにして弾いている。
一日4000近くもリクエストを投げてくるし、負荷の観点からも問題の動作をしています。
それに反し、そのサイトからのアクセスは特に生まれてはいないので、現状アクセスを遮断しても問題ないと判断しています。
また、日本の外からも、特にカジノ系から昔はよく来ていたので、
RewriteCond %{HTTP_REFERER} poker-
RewriteRule ^.*$ - [F]
RewriteCond %{HTTP_REFERER} -poker
RewriteRule ^.*$ - [F]
RewriteCond %{HTTP_REFERER} casino-
RewriteRule ^.*$ - [F]
RewriteCond %{HTTP_REFERER} -casino
RewriteRule ^.*$ - [F]
RewriteCond %{HTTP_REFERER} slots-
RewriteRule ^.*$ - [F]
RewriteCond %{HTTP_REFERER} -slots
RewriteRule ^.*$ - [F]
のように、カジノサイトのURLに合わせた弾きもしています。
SEO対策で、キーワードをURLに入れてくるのが、特徴です。