クローキングとは、サイト訪問者が人間なのか、検索エンジンのクローラーなのかを判断し、それぞれに異なるページを表示するSEOスパムのことです。
過去にはBMWやリコーが、クローキング（JavaScriptによるリダイレクト）を行い、Googleにバレて一時的にインデックス削除されたことがあります。
クローキングは過去のスパムだと思っていたのですが、いまだに使用しているサイトがあったようです。
クローキングのSEOスパムが言い訳できない状況でバレてしまったサイトの悲劇－ Web担当者Forum
クローキングサイト発見までの経緯などはリンク先を読んで頂くとして、今回はクローキングと関連性の深いUser Agent（ユーザーエージェント）にスポットを当ててみたいと思います。
User Agent（ユーザーエージェント）とは
User Agentとは、HTML文書を解釈するプログラム情報のことで、パソコンのブラウザもUser Agentの一種と言えます。
クローキングは、サイトに訪れたUser AgentがGoogle・Yahooなどの検索エンジンの場合には、キーワードを含むテキストページを閲覧させ、IE・Firefoxなどのブラウザの場合には、flashや画像などでデザインしたきれいなページを見せる手法です。
User Agentの書き換え
普段使っているブラウザのUser Agent名を書き換えることにより、あなたのブラウザをGoogleのクローラーであるGooglebotに変更することも可能です。
User AgentはFirefoxを使えば比較的簡単に変更することができます。IEでも変更は可能ですが、レジストリを変更しなければいけないのでちょっとめんどいです。
FirefoxのUser AgentをIEに変更することにより、IE以外のブラウザからのアクセスを拒否しているサイトにFirefoxでアクセスできるようになります。
また、User Agentを携帯電話に設定することにより、携帯専用サイトにパソコンからアクセスできるようにもなります。
正直あまりUser Agentを変更するメリットはないのかもしれませんが、知識として持っておいて損は無いと思います。
User Agentの変更方法（Firefox編）
※Be the Bot経由でサイトにアクセスすることにより簡単にGooglebotの視点になることもできます。
【手順：1 User Agent Switcherのインストール】
FirefoxのUser Agentを変更するためにアドオンをインストールします。
User Agent Switcher
リンク先のDownload for Firefox/Flock/Seamonkeyをクリックし、ダウンロードしようとすると下記の画面になりますが、構わずインストールします。
【手順：2 User Agentの追加】
User Agent SwitcherをインストールしFirefoxを再起動したら、User Agent情報を追加します。今回は例としてGooglebotになるための設定です。（IEやNNは標準装備なので追加の必要なし）
ツール → User Agent Switcher → options → options
【手順：3 User Agentを選ぶ】
ツール → User Agent Switcher → 好きなUser Agentを選択します。
先ほど追加したGoogleを選択することにより、アナタのFirefoxがGooglebotになります。
その他のUser Agent
User AgentはGooglebot以外にも無数にありますので、興味のある方はFirefoxまとめサイトの主なUser Agentをご参照ください。
リンク先下部のuseragentswitcher.xmlを開くと、携帯電話や検索エンジンのUser Agentが一覧表示されますので、お好みのものを追加してみてください。
※User Agentの変更により特定のサイトで不具合が出る可能性があります。User Agentをdefaultに戻すかFirefoxを再起動することによりUser AgentはFirefoxに戻ります。
新着情報