« 2006年06月29日 | TOP | 2006年07月01日 »

クローラー対策　robots.txtファイルの設置(2006年06月30日 19:24)

最近、WEBサーバーのアクセス解析にはまっている。
それもクローラーと呼ばれる検索エンジンロボットの訪問にだ。

Yahoo!、Google、MSN共にまず、robots.txtが無いか確認をしてからページを見る。
で、私は今までこのrobots.txtファイルを設置してこなかったのでファイルが無いよとのエラーを返していた。
それをエラーではなくきちんとクローラー対策をしようと思ったしだい。

以下、参考にしたサイト。
検索エンジンロボットを制御する
robots.txtで検索エンジンのロボット（クローラ、スパイダー）対策
robots.txt とは？

投稿者 : | トラックバック