TOP > 検索エンジン >

クローラー対策　robots.txtファイルの設置(2006年06月30日)

最近、WEBサーバーのアクセス解析にはまっている。
それもクローラーと呼ばれる検索エンジンロボットの訪問にだ。

Yahoo!、Google、MSN共にまず、robots.txtが無いか確認をしてからページを見る。
で、私は今までこのrobots.txtファイルを設置してこなかったのでファイルが無いよとのエラーを返していた。
それをエラーではなくきちんとクローラー対策をしようと思ったしだい。

以下、参考にしたサイト。
検索エンジンロボットを制御する
robots.txtで検索エンジンのロボット（クローラ、スパイダー）対策
robots.txt とは？

投稿者 : 2006年06月30日 19:24

以下のいいね！クリックやFacebookに投稿するためにはFacebookIDの取得が必要です。