ヤフーのキャッシュ日付とクロール日表示 その1

ヤフーの検索結果ページ（以下SERPs）のキャッシュの横に表示される日付をページがキャッシュされた日付だと勘違いしていたのですが、これはページ最終更新日という認識が正しいのでしょうか？

そんなの常識だろという声が聞こえてきそうですが、知らなかったものは知らなかったという事で、これを機に長期記憶に取り入れます。

でもなぜヤフーのサイト上に「クローラーが巡回した日である」と明示しているにも関わらず更新日を表示しているのでしょうか？

まずはSERPsにキャッシュ日付を表示しよう

Yahoo!JAPANのIDでログインしていない状態や、ログインしていてもデフォルトでは日付が表示されないので、設定を変更します。

ログイン ＞ SERPs上部の設定 ＞ クロール日表示

ページによってはONにしても表示されていないケースがありますがこれは後述。

日付＝クローラーの巡回日？

クロール日表示の説明として、 『ウェブ検索のクローラーがページを巡回した日を表示する。』とありますが、表示されている日付とクロール日は明らかに異なっています。

例えばSERPsに表示されるメインサイトのキャッシュ日付は1/17現在、1/5となっています。

Yahoo!クローラーの実際のクロール日

生ログを見たところ、1/5以降にもというか毎日Yahooのクローラーは当サイトに訪れています。
Yahoo! Slurp（72.30.79.28、72.30.87.96、72.30.142.88など）

キャッシュ日付けに表示された1/5というのはindex.htmlの最終更新日でした。

Yahooクローラー情報

クローラーのIPアドレスは晴練雨読さんの「到着クローラー分析」が参考になります。 アクセス解析によっては検索エンジンのクローラーをカウントしない（できない）ため訪問を確認することができません。

Google Analyticsは元々IPなどの情報は無し、Research Artisan（リサーチアルチザン）はYahooクローラーは検出されないようです。（Yahooモバイル用クローラー 124.83.159.・・・ は検出されます。）

今回の件とは関係ありませんが、クローラーのアクセスもPVに入れてしまっているアメーバブログのアクセス数が少し話題になっているようです。

キャッシュ日付の正体と閉鎖されたブログの日付

SERPsのキャッシュ日付に関してググって見ると、少し古いですが下記ページがHITしました。

Yahoo!検索における「 キャッシュ日付 」 の正体 ‐ SEOの種

Yahoo!の検索結果ページに表示されている「 日付 」 は、よく勘違いされるところではありますがページの「 キャッシュ日付 」 ではありません。

Yahoo!の検索結果ページに表示されている「 日付 」 は、「 Yahoo!検索がキャッシュした日付 」つまり、「 Yahoo!クローラーがページにアクセスし、保存した日付 」 である。　・・・という勘違いは、Yahoo!検索結果の表示を、Googleのものと、同一視した結果、生じたものと思われます。

しかし、更新がストップされたブログなどのキッシュ日付が、更新日時の数カ月後というケースも多くあり疑問が残ります。

ただ、特に外部ブログの場合にはサイドバーなどのテンプレート部分の変更や、ブロガーの直接的な更新とは別にブログパーツやアフィリエイトがあるために、実際の最終更新日とYahooが把握する最終更新日が異なるという事も考えられます。

そこで、まずは管理サイトの中で”ブログを含まない通常のhtmlサイト”において、最終更新日時が把握できるページとSERPsのキャッシュ日付を確認した所、全てのサイトにおいて100%一致する結果となりました。

検索キーワードによりキャッシュ日付が多少古くなる事はありますが、ページURLで検索した場合には最終更新日と同日となっており、実際の更新日を大幅に”超えた”キャッシュ日付はありませんでした。（0時付近の更新の場合は1日ずれるケース有り）

これだけでは『キャッシュ日付＝更新日時』とは言いきれないので、今後のためにも検証しておきたいと思いましたが、長くなったのでヤフーのキャッシュ日付とクロール日表示 その2へ。

タグ

Yahoo、キャッシュ、クロール