robots.txtでクローラを全拒否する
クローラ巡回を全拒否する
robots.txtUser-agent: *
Disallow: /
説明
User-agent: *
- すべてのクローラを対象にする
Disallow: /
- ルート配下の全ディレクトリを対象にする
失敗例
robots.txtUser-agent: *
Disallow:
※Disallow
が未指定の場合、許可扱いになる
他の方法
noindex
<meta name="robots" content="noindex">
.htaccess
.htaccessDeny from all
X-Robots-Tag HTTPヘッダー
.htaccessX-Robots-Tag: noindex