2-/執筆者ページ/日記投稿
1. 2006/05/08 検索エンジンレポート > クローラー > クローラーによるスパム: Refererばら撒き」コメントする/記事編集/削除/共有分類に追加

1. クローラーによるRefererばら撒きスパム       
2. 最近の事例その1  
3. 海外からの典型的な例           


1. クローラーによるRefererばら撒きスパム

最近はアクセス解析がブログ等にはよくついていることもあり、refererに誘導したいURLをつけてリクエストを投げてきて、トラフィックを誘導しようとするサイトがある。    
リンクを張っているわけでもなく、単に機械的なクロールに伴って自分の宣伝したいURLをばら撒く為、数も多い。       
そのURLがRefererで一位になってしまったりしてしまい、統計上も迷惑だ。           
また、こういうことをすると、結果的にリンクをたくさん張ってもらう状態になるので、ページランクも上げることができる。    
クローラーは、通常は、検索エンジンの収集手段ですが、方法を変えると、URLばら撒きスパムに使うことができます。 
ただ、そのサイトが得するという問題以外に、貪欲にサイトにアクセスしてきて、負荷をかけるという問題もあるので、遮断する方法も、よく検討する必要があります。


2. 最近の事例その1

例えば、ちょっと前までは、BlogShotとして運営していたところ、そして今はBlogHeaderとして運用しているところが、そうだ。  
当サイトでは、httpd.confで、           
RewriteCond %{HTTP_USER_AGENT} BlogHeader         
RewriteRule ^.*$ - [F]    
のようにして弾いている。
一日4000近くもリクエストを投げてくるし、負荷の観点からも問題の動作をしています。
それに反し、そのサイトからのアクセスは特に生まれてはいないので、現状アクセスを遮断しても問題ないと判断しています。


3. 海外からの典型的な例

また、日本の外からも、特にカジノ系から昔はよく来ていたので、
RewriteCond %{HTTP_REFERER} poker-
RewriteRule ^.*$ - [F]
RewriteCond %{HTTP_REFERER} -poker
RewriteRule ^.*$ - [F]
RewriteCond %{HTTP_REFERER} casino-
RewriteRule ^.*$ - [F]
RewriteCond %{HTTP_REFERER} -casino
RewriteRule ^.*$ - [F]
RewriteCond %{HTTP_REFERER} slots-
RewriteRule ^.*$ - [F]
RewriteCond %{HTTP_REFERER} -slots
RewriteRule ^.*$ - [F]
のように、カジノサイトのURLに合わせた弾きもしています。
SEO対策で、キーワードをURLに入れてくるのが、特徴です。


2-/執筆者ページ/日記投稿


Myページ 作品DB(友達招待) 最速検索