スパイダー
ロボット型検索エンジンの巡回プログラムのことで、スパイダーが世界中のホームページを巡視している。
クローラーやロボットとも呼ばれ、クモの巣の様に世界中にネットワークを張り巡らせているつもりだろうか。Googleのスパイダーが世界最強であるうちは、検索エンジン業界はGoogleの独占状態。
今ではスパイダーと言うよりもクローラーと言われる事の方が多い。SEO対策ではどれだけ早く新しいページをクロールしてもらいインデックスさせるのかと言う事が重要になってくる。
インデックスを早めるためには、更新頻度を上げる事が効果的。頻繁に更新されているサイトは検索エンジンが、ニュース性が高いと判断し、発見したページを素早くインデックスしていく。極端な場合、記事公開後数秒でインデックスする。
ブログなども更新頻度を上げることで、比較的早くインデックスされるようになる。ただ、記事の内容が薄くインデックスに値しないと判断された場合には、クロールされてもインデックスされない可能性がある。
最近のGoogleは、サイトやページの質を重要視するようになっており、ペラサイトやコピーページ、テキストがほとんど無いページなどは、厳しい状況になっている。
