----- robots01.txt start ----- User-Agent:* ←検索ロボットの名前の指定します。「*」としておけば 全ての検索ロボットを指定したことになります。 Disallow: / ←Webサーバーのルートディレクトリ以下の全てのファイル を検索されないように禁止しました。  ←最後の行は改行をしておいた方がうまくいく場合が多いです。 ----- robots01.txt end -----