【SEOスパム】　クローキングとUser Agent（ユーザーエージェント）の変更方法

クローキングとは、サイト訪問者が人間なのか、検索エンジンのクローラーなのかを判断し、それぞれに異なるページを表示するSEOスパムのことです。

過去にはBMWやリコーが、クローキング（JavaScriptによるリダイレクト）を行い、Googleにバレて一時的にインデックス削除されたことがあります。

クローキングは過去のスパムだと思っていたのですが、いまだに使用しているサイトがあったようです。

クローキングのSEOスパムが言い訳できない状況でバレてしまったサイトの悲劇− Web担当者Forum

クローキングサイト発見までの経緯などはリンク先を読んで頂くとして、今回はクローキングと関連性の深いUser Agent（ユーザーエージェント）にスポットを当ててみたいと思います。

User Agent（ユーザーエージェント）とは

User Agentとは、HTML文書を解釈するプログラム情報のことで、パソコンのブラウザもUser Agentの一種と言えます。

クローキングは、サイトに訪れたUser AgentがGoogle・Yahooなどの検索エンジンの場合には、キーワードを含むテキストページを閲覧させ、IE・Firefoxなどのブラウザの場合には、flashや画像などでデザインしたきれいなページを見せる手法です。

User Agentの書き換え

普段使っているブラウザのUser Agent名を書き換えることにより、あなたのブラウザをGoogleのクローラーであるGooglebotに変更することも可能です。

User AgentはFirefoxを使えば比較的簡単に変更することができます。IEでも変更は可能ですが、レジストリを変更しなければいけないのでちょっとめんどいです。

FirefoxのUser AgentをIEに変更することにより、IE以外のブラウザからのアクセスを拒否しているサイトにFirefoxでアクセスできるようになります。

また、User Agentを携帯電話に設定することにより、携帯専用サイトにパソコンからアクセスできるようにもなります。

正直あまりUser Agentを変更するメリットはないのかもしれませんが、知識として持っておいて損は無いと思います。

User Agentの変更方法（Firefox編）

※Be the Bot経由でサイトにアクセスすることにより簡単にGooglebotの視点になることもできます。

【手順：1　User Agent Switcherのインストール】
FirefoxのUser Agentを変更するためにアドオンをインストールします。

User Agent Switcher

リンク先のDownload for Firefox/Flock/Seamonkeyをクリックし、ダウンロードしようとすると下記の画面になりますが、構わずインストールします。

【手順：2　User Agentの追加】
User Agent SwitcherをインストールしFirefoxを再起動したら、User Agent情報を追加します。今回は例としてGooglebotになるための設定です。（IEやNNは標準装備なので追加の必要なし）

ツール → User Agent Switcher →　options → options

【手順：3　User Agentを選ぶ】
ツール → User Agent Switcher → 好きなUser Agentを選択します。

先ほど追加したGoogleを選択することにより、アナタのFirefoxがGooglebotになります。

その他のUser Agent

User AgentはGooglebot以外にも無数にありますので、興味のある方はFirefoxまとめサイトの主なUser Agentをご参照ください。

リンク先下部のuseragentswitcher.xmlを開くと、携帯電話や検索エンジンのUser Agentが一覧表示されますので、お好みのものを追加してみてください。

※User Agentの変更により特定のサイトで不具合が出る可能性があります。User Agentをdefaultに戻すかFirefoxを再起動することによりUser AgentはFirefoxに戻ります。

タグ

User Agent、クローキング、スパム