【SEO初心者のEvoブログ】

クローキングとは、サイト訪問者が人間なのか、検索エンジンのクローラーなのかを判断し、それぞれに異なるページを表示するSEOスパムのことです。

過去にはBMWやリコーが、クローキング（JavaScriptによるリダイレクト）を行い、Googleにバレて一時的にインデックス削除されたことがあります。

クローキングは過去のスパムだと思っていたのですが、いまだに使用しているサイトがあったようです。

クローキングのSEOスパムが言い訳できない状況でバレてしまったサイトの悲劇－ Web担当者Forum

クローキングサイト発見までの経緯などはリンク先を読んで頂くとして、今回はクローキングと関連性の深いUser Agent（ユーザーエージェント）にスポットを当ててみたいと思います。

User Agent（ユーザーエージェント）とは

User Agentとは、HTML文書を解釈するプログラム情報のことで、パソコンのブラウザもUser Agentの一種と言えます。

クローキングは、サイトに訪れたUser AgentがGoogle・Yahooなどの検索エンジンの場合には、キーワードを含むテキストページを閲覧させ、IE・Firefoxなどのブラウザの場合には、flashや画像などでデザインしたきれいなページを見せる手法です。

User Agentの書き換え

普段使っているブラウザのUser Agent名を書き換えることにより、あなたのブラウザをGoogleのクローラーであるGooglebotに変更することも可能です。

User AgentはFirefoxを使えば比較的簡単に変更することができます。IEでも変更は可能ですが、レジストリを変更しなければいけないのでちょっとめんどいです。

FirefoxのUser AgentをIEに変更することにより、IE以外のブラウザからのアクセスを拒否しているサイトにFirefoxでアクセスできるようになります。

また、User Agentを携帯電話に設定することにより、携帯専用サイトにパソコンからアクセスできるようにもなります。

正直あまりUser Agentを変更するメリットはないのかもしれませんが、知識として持っておいて損は無いと思います。

User Agentの変更方法（Firefox編）

※Be the Bot経由でサイトにアクセスすることにより簡単にGooglebotの視点になることもできます。

【手順：1　User Agent Switcherのインストール】
FirefoxのUser Agentを変更するためにアドオンをインストールします。

User Agent Switcher

リンク先のDownload for Firefox/Flock/Seamonkeyをクリックし、ダウンロードしようとすると下記の画面になりますが、構わずインストールします。

【手順：2　User Agentの追加】
User Agent SwitcherをインストールしFirefoxを再起動したら、User Agent情報を追加します。今回は例としてGooglebotになるための設定です。（IEやNNは標準装備なので追加の必要なし）

ツール → User Agent Switcher →　options → options

【手順：3　User Agentを選ぶ】
ツール → User Agent Switcher → 好きなUser Agentを選択します。

先ほど追加したGoogleを選択することにより、アナタのFirefoxがGooglebotになります。

その他のUser Agent

User AgentはGooglebot以外にも無数にありますので、興味のある方はFirefoxまとめサイトの主なUser Agentをご参照ください。

リンク先下部のuseragentswitcher.xmlを開くと、携帯電話や検索エンジンのUser Agentが一覧表示されますので、お好みのものを追加してみてください。

※User Agentの変更により特定のサイトで不具合が出る可能性があります。User Agentをdefaultに戻すかFirefoxを再起動することによりUser AgentはFirefoxに戻ります。 

SEOスパムとペナルティ

先日のSEOテクニック編に続き、今日はSEOスパムにおける都市伝説について触れてみようと思います。

一度に大量のバックリンク

中小の検索サイト一括登録サービスやリンク集登録ツールを使い、バックリンクを一度に大量に獲得するとペナルティを受けるというのは良く聞く話です。

しかし、個人的にはどんなに大量のバックリンクであっても、スパムサイトからのバックリンクであっても、検索エンジンから評価されないことはあっても、ペナルティを受けることは無いと思っています。

根本的な事として公平性の観点からも、サイト製作者の手の及ばない部分で行うことが可能な対策により、そのサイトがペナルティを受けることは無いのではないでしょうか。

詳しくは以前書いたリンク集への大量一括登録ツールをご覧ください。

これは、アクセスカウンターの隠しリンクをGoogleが取り締まりを始めた事とは異なる問題でしょう。

CSSのdisplay:noneやtext-indent

見栄えを良くする為に、CSSでアンカーテキストに背景画像を設定し、テキストをdisplay:noneで隠したり、text-indentで画面外へ飛ばすテクニックです。

これは一般的に使われている手法で、私も以前から使用していますが、今まで不利益を被ったことはありません。

もちろん使いすぎることにより、ペナルティを受ける可能性は否定できませんが、これはこの件に限ったことではありません。

display:noneやtext-indentも適切な使い方であれば何の問題も無いでしょう。詳しくはCSSのdisplay:noneの利用をご覧ください

その前に検索エンジンはどこまでCSSを理解しているのでしょうか？

キーワード出現率5％以上

先日SEOのプロがキーワード出現率5％以上でペナルティを受けると断定した事には衝撃を受けましたが、何パーセット以上でペナルティ確定ということは無いでしょう。

キーワードが2つしかないページで後は画像を配置した場合、双方のキーワード出現率が50％になりますが、果たしてペナルティになるのでしょうか？

キーワード総数がそれなりにあり、そのうちの数十％が同一キーワードという状況ではペナルティを受ける可能性はありますが、文章として不自然でなければ気にする必要は無いと思います。

そもそも検索順位がいくつもの要素によって決まっている様に、ペナルティの発動もいくつかの要素が重なったときに発動されるものであると考えられます。

フォルダ内にindex.htmlしかない

SEOテクニック編のディレクトリ構造の件でも触れましたが、少ないページを全てディレクトリ化し、フォルダ内にindex.htmlしかなかったとしても、ペナルティを受けることは無いでしょう。

しかし、全てのコンテンツがindex.htmlしかない状況であれば、フォルダ分けする必要も無いでしょう。分けたい人は分ければ良いし、面倒な人は全htmlをむき出しって感じで、どちらでも問題ないでしょう。

今後コンテンツやページを増やす予定があるのであれば、後々のリダイレクトの手間などを考えると最初からフォルダ分けしておいた方が管理面でも楽なことは確かです。

順位の低下≠ペナルティ

検索順位が大幅に低下すると、それだけでペナルティを受けたと考えてしまう方が結構いるのですが、順位が上昇する事があるように順位が下降する事も当然あります。

Googleから不名誉なペナルティ警告メッセージをもらった場合や、SEOスパムっぽい対策を行った直後に順位が大幅に低下した場合など、思い当たる節がある時には直ぐにでも対応した方が良いのかもしれませんが、それ以外のときは少しの間は静観した方が良いでしょう。

以前書いた「検索順位の低下は本当にペナルティによるものなのか」もご参照ください。

SEOスパムに関する実証にはリスクが伴うため、実験的にスパム行為を行う人が少なく露出されるデータも少ないことで、順位の低下は何でも感でもペナルティと片付けてしまう風潮がありますが、順位の低下のほとんどはペナルティではなく、今まで評価されていた要素が評価されなくなっただけなのかもしれません。

こんなひどいのは久しぶりかも

CNETブログで書いた記事をタイトルも含めもれなく全パクリされました。元記事のURLは記載されているもののリンクを張らずあたかも自分の記事のように。

土日も休まず更新することによる検索エンジン対策（元記事）
土日も休まず更新することによる検索エンジン対策（パクリサイト）

アフィリエイトサイトに記事の一部をパクられることは多々ありますが、全パクリを発見したのは始めてかもしれません。

引用とか転記とか書けば何でも許されるとでも思っているのでしょうか？

ブログ内の全記事がパクリのようですが、毎日更新しているわけでもなく管理者の意図が良く分かりません。

ミラーページが検索上位に来たら・・・

試しに今まで書いた記事のタイトルで検索してみたら、タイトルも含めパクられているケースが結構あることにビックリしました。

検索エンジンは時間の概念を備えていますので、どちらの記事が早くアップされたものかも判断して順位を決定しており、全記事とも一応元ブログが上位に来ていました。

しかし、検索エンジンから高評価を受けているサイトが同じことをした場合、元ブログが下位になる可能性もありそうですね。

ページ内の何％のテキストが同じ場合に、ミラーページと判断されるのかは分かりませんが、一つの記事が全く同じでも、ヘッダー・フッター・サイドバー、その他のページが全て異なる場合には、検索エンジンはパクリページと判断できるのでしょうか。

今回紹介したパクリページ自体は4/7に作成されたもので、まだインデックスされていないようですが、この後普通にインデックスされちゃうんでしょうかね。

まぁCNETブログ自体、ここの過去記事をまとめたものなので、どうぞパクってくださいといった感じなのですが、あまり気分の良いものではありませんね。

相互リンクを勝手に解除するサイトとかって

パクリサイトに限らず行儀の悪いサイトは結構あるようで、相互リンクをお願いして相手がリンクを張ってくれた途端に自サイトのリンクを外すサイトが増えているようです。

機械的に何百、何千と相互リンク依頼をして、数ヶ月後発リンクを全て外す。相互リンクが一瞬にしてナチュラルリンクになります。

相互リンクにnofollowを使っているあくどいサイトもあるようですし、相互リンクを受けるときには注意した方が良いかもしれません。

スパムサイトからのバックリンクはペナルティにはなりませんが、スパムサイトへの発リンクはペナルティになる可能性があります。

管理できる数なら良いのですが、相互リンク先がいつ検索エンジンからペナルティを受けるか分かりませんので、SEO効果が低くなっている相互リンクは控えた方が良いのかもしれません。