Googleからインデックス削除された場合の確認手順

現在、Yahooの検索エンジンがGoogleになっていますので、Googleに嫌われてしまうと検索エンジン経由のアクセス数がほとんど無い状態になってしまいます。

その最も厳しい状態がインデックス削除で、ドメイン丸ごとインデックス削除されてしまった場合には、GoogleとYahooからのアクセスがゼロになってしまいます。GoogleフォーラムやTwitterを見ていると最近やたらとインデックス削除に関するコメントを見かけますが、G様がペナルティを強化しているのでしょうか。

サイト管理者として、これは何としても避けたい所ですが、インデックス削除はペナルティ以外にも色々な要因で起こる可能性がありますので、備忘録のためにも確認手順をまとめておきたいと思います。

インデックス削除されるとどうしても焦ってしまうのですが、まずは、原因がどこにあるのかの切り分けを行う必要があります。

1. インデックスの確認

まずは本当にインデックス削除されているのかを確認します。確認方法はいくつかありますが、「site:コマンド」、「info:コマンド」、「ドメイン」、「titleタグ」で検索してみるのが手っ取り早いと思います。

当ブログを「site:コマンド」で検索した状態ですが、インデックスされているページが一覧で表示されていれば問題ありません。このように検索したURLが1位に来るのが通常ですが、トップページがHITしない場合何かしらの問題が発生している可能性があります。

ただ、ペナルティを受けていなくてもトップが1位に示されない事があります。また、新規ドメインの場合その傾向が強くなりますので、あくまでインデックスされているのかを見るようにしましょう。

当ブログを「info:コマンド」で検索したものです。これが正常な状態ですが、検索結果に表示されない場合、何かしらの問題が発生しているかも知れません。

また、ドメイン名やタイトルタグ、サイト名などで検索した時に検索結果に表示されるのかを確認しておきます。site:やinfo:でHITしないのに、ドメイン名などでHITする事はまず無いと思いますが、検索窓への入力ミスなども考えられますので、念のためです。

また、Googleだけではなく、同時にBingや百度でもインデックスを確認しておいた方が良いでしょう。全ての検索エンジンでインデックス削除されている場合、ペナルティよりも他の要因の可能性が高いかもしれません。

2. Googleウェブマスターツールで確認

1の確認の前にこちらをやっても良いのですが、Googleウェブマスターツールにはインデックス削除の原因を探るための要素が沢山用意されています。

  1. 警告メッセージ
  2. クロールエラー
  3. クロールの統計情報
  4. Fetch as Googlebot

警告メッセージについては、私自身現物を見たことが無いので、どのように表示されるのか分からないのですが、ウェブマスターツールにGoogleからのスパム警告が届いていないかを確認します。基本的に、メッセージはメールで受信するようにしておき、警告が来た場合には、メッセージに従って直ぐに対処しましょう。

クロールエラーでは、上手くクロールできていないURLが表示されています。ここにインデックス削除されたと思っていたドメイントップのURLが含まれている場合、何かしらの理由でクローラーがアクセスできていないということになります。

ただ、情報が古い場合や、一時的にアクセセス出来なかったURLが表示される可能性もありますので、これを見ただけでクロールできていないと判断するのはやめた方が良いでしょう。

クロールの統計情報では、クローラーの活動状況を見ることができます。数値がゼロになっている場合、クローラーがサイトに訪問できていないという事になります。また、数値が異常に低い場合は、何かしらの問題が発生しているかも知れません。(ページ数が少なく更新頻度が低い場合、数値が低くなる可能性があります)

Fetch as Googlebotでは、実際にそのURLにクローラーがアクセスできるのかという確認と、そのURLをインデックスしてもらえるようにお願いすることができます。

取得ステータスが「成功しました」となれば問題ないのですが、「アクセスできませんでした」や「見つかりませんでした」と表示された場合には、問題ありです。(リダイレクトがかかっている場合など、一時的に「保留」と表示されます)

このように、クローラーが上手くサイトにアクセスできていない場合のインデックスク削除であれば、ペナルティとは別問題ですので、以下で説明する方法でチェックを行い、原因を取り除けば、いずれインデックスされる事でしょう。

3. noindexの確認

インデックスされていない事が確認できたら、次は自らインデックス削除されるような設定を行なっていないかを確認します。

まずは、metaタグの中に、以下のような記述がないかを確認します。

<meta name="robots" content="noindex">

これは、検索エンジンにインデックスを拒否することを通知するためのタグですが、noindexが記述されていると当然インデックスされません。(絶対にインデックスされないというわけではありません)

noindexタグが確認できた場合は、このタグを削除して、クローラーが訪問してくるまで待ちましょう。直ぐにインデックスされるかは分かりませんが、問題なくクロールされていれば、比較的早くインデックスされるはずです。

特に気を付けなければいけないのがWordPressサイトの場合です。WordPressはインストール時や、プライバシー設定でnoindexタグを挿入することが出来るようになっています。

ソースを見ても良いのですが、まずは管理画面のプライバシー設定で、「検索エンジンが読めるようにする」にチェックが入っているかを確認しておきましょう。

4. robots.txtの確認

robots.txtを使ってクローラーの巡回を拒否することができます。通常は、検索エンジンに見て欲しくないサイトやページに対して設定するものですが、間違えて設定することで、意図していないインデックス削除が起こってしまう可能性があります。

User-agent: *
Disallow: /

「Disallow:」というのが、クロール拒否の為の記述なのですが、上記のような記述になっていると、全ての検索エンジンに対しドメイン丸ごとクロール拒否することになります。

User-agent: *
Disallow:

このように書くことで、クロール拒否するページはありません。という事を伝えることができます。

User-agent: *
Allow: /

また、クロール許可を表す「Allow:」を使い、全てのページを許可します。という事を伝えても良いでしょう。

ただ、基本的にクロールを許可する場合、検索エンジンにその旨を伝える必要はありませんので、良く分からない場合は、robots.txtを設置しない方が良いかも知れません。

robots.txtがエラーになっている場合

これは、最近知ったのですが、robots.txtがステータスコードで500を返していると、インデックス削除されてしまうようです。

»robots.txtをエラー状態にするとインデックスが削除される

私自身経験したことがないのですが、この場合は、トップページのインデックスだけが削除される状態になるようです。このケースはあまり無いと思いますが、robots.txtは強力ですので、正しく記述する必要があります。(クローラーをブロックしない時のrobots.txtの設定

5. .htaccessの確認

.htaccessとは、リダイレクト設定やアクセス制限などを行うためのファイルですが、検索エンジンのクローラーのIPアドレス(ホスト)をアクセス規制してしまっているとインデックスに影響が出る可能性があります。

ただ、自ら検索エンジンを指定してアクセス制限をかける事はまずないと思いますので、このケースはあまりないでしょう。しかし、特定のIPアドレスのみ接続を許可しているような場合、当然クローラーはサイトにアクセス出来ないことになります。また、パスワード制限をかけている場合にもクローラーはその先のページに訪問することができませんので注意しましょう。

また、インデックスしたいドメインやページに対し、301リダイレクト設定などを行なっていると当然そのページはインデックされませんので、間違えたURLで転送設定していないかも確認する必要があります。

6. canonicalの確認

転送設定を行なっていない場合でもcanonical設定により、検索結果に表示したいドメインがインデックス削除されてしまうことがあります。canonical設定とは、重複ページを1つのページに統一したい時などに使用するものですが、間違ったcanonical設定をしてしまうと、そのページが消えることになります。

<link rel="canonical" href="http://www.seo-blogs.biz/">

例えば、このような記述を当ブログの全ページにしてしまうと、検索エンジンは、当ブログをインデックス削除し、http://www.seo-blogs.biz/にリンクジュースを渡すような処理を行います。

canonicalが登場したばかりの頃は、自分がGoogleに評価して欲しいページを伝えるだけの物だと思っていたのですが、どうやら301リダイレクト並に強烈なもののようです。ただ、301と全く同じ効果があるのかはわかりません。また、全ページをトップページにカノってしまい、トップページ以外のページがインデックス削除された場合などは、後で修正が入るという話もあります。

head内にcanonicalタグがある場合には、記述されているURLが正しいのかをチェックしておきましょう。WordPressのプラグインなどで、自動的にcanonicalタグが挿入される物がありますが、このケースで表示しているページのURLが記述されているはずです。

7. ステータスコードの確認

これは、可能性としてかなり低いと思いますが、インデックスさせたいページのステータスコードが誤って設定されてしまっていると、そのページをGoogleが正しく認識できないかも知れません。

»メンテナンスには302より503だと思います、ぐるなびさん。
»メンテナンス中画面を出す正しい作法と.htaccessの書き方

これは、メンテナンス中のページを作成した際には、正しく503エラーを返しましょうという内容の記事ですが、同じような形で、存在するページに対し間違ったステータスコードを返してしまうことで、インデックス削除されてしまう可能性があります。仮に404というステータスコードになっていた場合、そのURLは検索エンジンから見ると存在しないことになります。

ステータスコードを調べるツールはいくつかありますが、View HTTP Request and Response Headerがおすすめです。

このように、「200 OK」と表示されれば、そのURLは検索エンジンに正しく認識されている事になります。このツールはリダイレクト設定を行った際の確認としても使用できますし、リダイレクト元のページ内容が確認できるので便利です。

8. サーバーがクロールを拒否

サイト側でクローラーを拒否するような設定を行なっていない場合でも、サーバー側で問題が発生していることがあります。これは過去に有名なレンタルサーバーでも行われたことですが、サーバー側で誤ってクロール拒否するような設定をしていた場合、当然そのサイトはインデックス削除されてしまいます。

長時間の障害などにより、サイトが存在しないと判断されインデックス削除されてしまう可能性もゼロではありませんが、今の時代それはあまり考えられませんし、一度サイトにアクセス出来なかったぐらいでインデックス削除されることはありません。また、このケースで一度インデックス削除されても、再度クロールした時に問題なければ、再びインデックスされます。

問題になるのは、やはりサーバー側でクロールを拒否しているケースです。サーバー全体で誤った設定をしてしまった場合、直ぐに誰かが気づき対策が行われるのですが、やっかいなのが特定のIPアドレスのみ拒否するような設定をしてしまった場合です。

Googleフォーラムでそのような事例がありましたが、2カ月以上もその状態が放置されるというのはゾッとします。

Bingでチェック

Bingの「ip:コマンド」を使用すると、共用サーバーであれば同じIPアドレスを使用しているサイトが確認できますので、ここに表示されたサイトのインデックス状況を調べてみて、同じように削除されているということでしたら、すぐにホスティング会社に連絡しましょう。

※自サイトのIPアドレスが分からない場合は、SEOチェキのようなツールで確認するか、サーバーの管理画面を見るか、ホスティング会社に確認しましょう。

9. ペナルティを受けた

上記全ての可能性が否定された場合に考えられるのがペナルティです。最も復活するまでに時間がかるやっかいな状態です。

Googleウェブマスターツールで警告メッセージが届いていれば良いのですが、届いていない場合には、自力で解決するしかありません。住太陽氏が語るGoogleペナルティからの脱出法を参考にして、頑張ってみましょう。

特異な例として、特定のドメインがペナルティを受けた為に、インデックス削除されるという事があります。特定のドメインというのは、あなた自身のドメインという事ではなく、無料ホームページサービスを利用している場合に、そのドメイン全体がペナルティを受けるようなケースです。(.co.ccドメインの全削除

また、噂の域を出ませんが、一部のレンタルサーバーのサブドメインやIPアドレスに対してペナルティを科すという話も聞きますので、自分のサイト以外が原因でインデックス削除される場合もあるという事を頭に入れておいた方が良いでしょう。

10. 原因不明

おそらく、上記の9項目を確認すれば、問題を特定することは出来ると思いますが、クロールにも問題がなくてペナルティを受けるような事も無いのにインデックスされないという事があります。

私自身、過去に2度ほど見たことがあるのですが、何をやってもインデックスが復活することはありませんでした。ペナルティの可能性がありますので、実際の所は検索エンジンにしか分からないのですが、何をやってもダメな場合は、そのドメインは諦めて新たなドメインを取得するしかありません。

どちらにしても、インデックス削除された時点で、復活できるかはわかりませんので、前もって新規ドメインでサイトを用意しておいても良いと思います。ただ、その場合全く同じサイトを公開してしまうと、重複問題に引っかかる可能性がありますので注意しましょう。

重複コンテンツ問題

インデックス削除と少し意味合いが異なるのですが、重複コンテンツによって検索結果に表示されなくなっ てしまうことがあります。検索エンジンは同じ内容のページをいくつも検索結果に表示しないようになっていますので、仮に他のドメインで全く同じサイトを公 開している場合、コピーサイトと判断されて検索結果に表示されない可能性があります。

自ら異なるドメインで同じサイトを公開していた場合には、旧ドメインから新ドメインへ301リダイレクトを行います。無料ドメインの場合は、meta refreshを利用する事になりますが、どうしても転送設定ができない場合、旧ドメインのサイトを削除してしまった方が良いかも知れません。

これは、自らが行ったことではなく、他人にサイトを盗まれた場合にも起こりうることです。Googleは、どちらがコピーサイトなのかを判断することができますが、その処理は完璧ではありません。

最近は、Googleウェブマスターツールで、クロスドメインURLの重複コンテンツ検出メッセージが届くようになっていますので、第三者にコピーされている場合でも分かりやすくなっています。

※重複コンテンツ扱いで非表示になっている場合でも、URLで検索すればHITするはずです。詳しくは、重複コンテンツ実験記事をご覧ください。

セーフサーチ

もう一点、インデックス削除と勘違いする可能性があるのが、セーフサーチです。

アダルトコンテンツのつもりはなくても、多少なりともそういったキーワードが含まれていると、セーフサーチが強になっている場合に、インデックスが確認できなくなる可能性があります。ちなみに、デフォルトではセーフサーチは中になっています。(中の場合は、上図のようなセーフサーチという項目が表示されません。変更したい場合は、検索設定から行います。)

スポンサーリンク

公開日:2011年12月5日
最終更新日:2013年12月4日

コメント

  1. 色々検索してこのページにたどり着きました。記事内容に関連して質問させてください。お答えいただければ幸いです。よろしくお願いします。

    検索エンジンのインデックスではないのですが、googleウェブマスターからインデックスが消えてしまった内容です。カラミーの掲示板、googleの掲示板でフィットした答えが得られなかったため、こちらにコメントしました。

    カラミーショップの、サブドメイン×××.shop-pro.jpでgoogleウェブマスターツールを利用していました。通常にデータが出ていました。
    先日独自ドメイン○○○.netを取得、追加サイトとして登録しましたが、インデックスされないので、サイトマップの再送信等を試みましたが、結果変わらず、Fetch as Googlebotをした次の日あたりのタイミング(たしか)で、サブドメインのインデックスが83から0になってしまいました。
    2つ登録ではまずいのかと思い、サブドメインのサイトは登録削除しました。
    が、結果は変わらずです。クロールエラーはなし、サイトマップ送信、Fetch as Googlebotも成功です。googleからのメッセージも関連のものはありません。

    このページの記載事項でチェックしてみました。
    1)site:コマンド、info:コマンドなど、googleでは正常に検索されました。ただ、yahooではTOPページのみ、バイドゥでは結果なしでした。これは新しいサイトだからなのかなと思っております。(?)
    2)googleウェブマスターツールでの確認は、上記4つの項目とも正常だと思います。
    3)~6)までは設定なし
    7)OK
    8)&9)は、カラミーショップで通常の作り方をしていますので、問題ないかと。
    10)本当に原因不明です。(T_T)
    11)重複コンテンツ問題ですが、ドメインの違う同じサイトの登録がまずいのかと思い、サブドメインはウェブマスタツールから削除しました。

    以上長くなってしまいましたが、解決のための考えられる対応をご享受頂ければ嬉しいです。重ねてよろしくお願いします。

  2. 申し訳ございませんが、状況が良くわかりません。

    長文をご投稿頂き恐縮なのですが、Googleフォーラムのほうで根気強く回答を待つのが良いと思います。

    • 筋違いなのかと思いながら、投稿してしまいました。
      ありがとうございました。

  3. はじめまして。

    自分の記事が検索に反映されなくなり、対処法を探してここに来ました。
    非常に参考になる記事をありがとうございます。

    問題は解決したのですが、私のブログで次の一文を引用させていただき、この記事へのリンクを張らせていただきました。

    Fetch as Googlebotでは、実際にそのURLにクローラーがアクセスできるのかという確認と、そのURLをインデックスしてもらえるようにお願いすることができます。

    記事は「Google検索から除外され回復するまでの2時間のリポート」
    URLはhttp://fanblogs.jp/ayzfqir5/archive/718/0です。

    最新記事も拝見しましたが、私にはとても役立った、ありがたいブログだと思うことだけお伝えしたいと思いました。

    どうもありがとうございます。

    • はじめまして。

      当記事がお役に立てて良かったです。
      当サイトへのリンクもありがとうございます^^