【SEOスパム】　クローキングとUser Agent（ユーザーエージェント）の変更方法

2008/5/14

Filed under： SEO, 4- スパム, 3- ツール — パシフィカス @ 6:54:26

クローキングとは、サイト訪問者が人間なのか、検索エンジンのクローラーなのかを判断し、それぞれに異なるページを表示するSEOスパムのことです。

過去にはBMWやリコーが、クローキング（JavaScriptによるリダイレクト）を行い、Googleにバレて一時的にインデックス削除されたことがあります。

クローキングは過去のスパムだと思っていたのですが、いまだに使用しているサイトがあったようです。

クローキングサイト発見までの経緯などはリンク先を読んで頂くとして、今回はクローキングと関連性の深いUser Agent（ユーザーエージェント）にスポットを当ててみたいと思います。

User Agentとは、HTML文書を解釈するプログラム情報のことで、パソコンのブラウザもUser Agentの一種と言えます。

クローキングは、サイトに訪れたUser AgentがGoogle・Yahooなどの検索エンジンの場合には、キーワードを含むテキストページを閲覧させ、IE・Firefoxなどのブラウザの場合には、flashや画像などでデザインしたきれいなページを見せる手法です。

普段使っているブラウザのUser Agent名を書き換えることにより、あなたのブラウザをGoogleのクローラーであるGooglebotに変更することも可能です。

User AgentはFirefoxを使えば比較的簡単に変更することができます。IEでも変更は可能ですが、レジストリを変更しなければいけないのでちょっとめんどいです。

FirefoxのUser AgentをIEに変更することにより、IE以外のブラウザからのアクセスを拒否しているサイトにFirefoxでアクセスできるようになります。

また、User Agentを携帯電話に設定することにより、携帯専用サイトにパソコンからアクセスできるようにもなります。

正直あまりUser Agentを変更するメリットはないのかもしれませんが、知識として持っておいて損は無いと思います。

※Be the Bot経由でサイトにアクセスすることにより簡単にGooglebotの視点になることもできます。

【手順：1　User Agent Switcherのインストール】
FirefoxのUser Agentを変更するためにアドオンをインストールします。

リンク先のDownload for Firefox/Flock/Seamonkeyをクリックし、ダウンロードしようとすると下記の画面になりますが、構わずインストールします。

ダウンロード

かまわずインストール

【手順：2　User Agentの追加】
User Agent SwitcherをインストールしFirefoxを再起動したら、User Agent情報を追加します。今回は例としてGooglebotになるための設定です。（IEやNNは標準装備なので追加の必要なし）

ツール → User Agent Switcher →　options → options
ユーザーエージェントをグーグルに変更

【手順：3　User Agentを選ぶ】
ツール → User Agent Switcher → 好きなUser Agentを選択します。

先ほど追加したGoogleを選択することにより、アナタのFirefoxがGooglebotになります。

User AgentはGooglebot以外にも無数にありますので、興味のある方はFirefoxまとめサイトの主なUser Agentをご参照ください。

リンク先下部のuseragentswitcher.xmlを開くと、携帯電話や検索エンジンのUser Agentが一覧表示されますので、お好みのものを追加してみてください。

※User Agentの変更により特定のサイトで不具合が出る可能性があります。User Agentをdefaultに戻すかFirefoxを再起動することによりUser AgentはFirefoxに戻ります。

< comments >

User-Agentを偽装してクローキングの実験をしたことがあります。
うまくいきました。（爆）
今は通用しなくなってます。

コメント by 【海外SEO】鈴木謙一 2008/5/14 11:50:01
User-Agentの偽装方法は昨日知りました。
クローキングの実験内容が気になりますねぇ。

コメント by パシフィカス 2008/5/14 18:33:30

コメントをどうぞ

【SEO初心者のEvoブログ】