クローラーについて

ロボット型検索エンジンのプログラムのことで、クローラーが世界中のホームページを巡視して、検索順位を決めている。

ロボット型検索エンジンの場合クローラーが来ない事にはインデックスもされない。更新頻度を上げることによりクローラーの訪問頻度も上がると言われている。クローラーと仲良くならないと上位表示は期待できない。クロールするからクローラーだが、スパイダーとも呼ばれる。