クローラー対策 robots.txtファイルの設置(2006年06月30日)
最近、WEBサーバーのアクセス解析にはまっている。
それもクローラーと呼ばれる検索エンジンロボットの訪問にだ。
Yahoo!、Google、MSN共にまず、robots.txtが無いか確認をしてからページを見る。
で、私は今までこのrobots.txtファイルを設置してこなかったのでファイルが無いよとのエラーを返していた。
それをエラーではなくきちんとクローラー対策をしようと思ったしだい。
以下、参考にしたサイト。
検索エンジンロボットを制御する
robots.txtで検索エンジンのロボット（クローラ、スパイダー）対策
robots.txt とは？
投稿者 : 2006年06月30日 19:24
Google：
←クリックでGoogle+1の桝田良一プロフィールに飛びます。Twitter：ツイート
以下のいいね！クリックやFacebookに投稿するためにはFacebookIDの取得が必要です。
トラックバック
このエントリーのトラックバックURL:
http://369ch.jp/mt335/mt-tb.cgi/1196