robots.txt(ロボットテキスト)トの重要性

robots.txt(ロボットテキスト)で検索エンジンにインデックスさせるかどうかを操作することやサイトマップの存在を伝えます。

robots.txt(ロボットテキスト)で検索エンジンを誘導

検索エンジンのロボットが、サイトの中で一番初めにアクセスするファイルがロボットテキストです。ロボットテキスト(robots.txt)とは、検索エンジンの意図しないインデックス(登録)を防ぐ役目を持ちます。

製作途中のサイトをテストアップロードして、クライアントに確認してもらう時など、テストサーバのURLが検索エンジンにインデックスされてしまうと、正式なURLにアップロードした際に、本サイトがテストサイトと重複サイトと判断されてしまう危険があります。

検索エンジンは、サイトが公開された日時を正確に把握していますので、上記の場合後から公開された本サイトがコピーサイトとしてのペナルティを受けます。

ロボットテキストを置くことにより、テストサイトや製作途中のサイトを検索エンジンにインデックスさせないことが可能です。また2007年より、サイトマップの存在を検索エンジンに伝える役目も担うようになりました。

robots.txtの記述内容

ロボットテキストにインデックスを許可する記述をすることで、SEO効果があると言われていた時期がありますが、クローラーはインデックスすることが仕事ですので、わざわざ許可しなくても評価は変わりません。

今回はインデックスを拒否するためのrobots.txtの書き方についてです。

robots.txtのアップロード先

メモ帳などのテキストエディタでrobots.txtというファイルを作成し、ドメイントップのindex.htmlと同階層にアップロードします。

robots.txtのファイルの中身

robots.txtの記述内容は、どの検索エンジンに対し拒否させるのかによって変わります。

全てのロボットを拒否

User-agent: *
Disallow: /

googleだけ拒否

User-agent: Googlebot
Disallow: /

yahooだけ拒否

User-agent: Slurp

MSNだけ拒否

User-agent: msnbot
Disallow: /

サイトマップの登録に使う

2007年4月にyahoo、google、MSNはsitemapの登録を、ウェブマスターツールなどを使わずにrobots.txtで行えるようにしました。

今までは、各検索エンジンのサイトに個別にsitemapのURLを登録する必要がありましたが、この機能により、robots.txtに以下の記述を追加するだけで、検索エンジンにsitemapの存在を通知できるようになりました。   

Sitemap: http://www.example.com/sitemap.xml

ホームページ制作SEO

埼玉県入間市鍵山3-12-3
TEL:04-2937-4114
FAX:04-2937-4118 mail

首都圏全域対応

東京 埼玉 神奈川 千葉 群馬 栃木 茨城 山梨

訪問可能エリア

[ 埼玉県 ] [ 東京都 ]