robots.txtでクローラを全拒否する

クローラ巡回を全拒否する

robots.txtUser-agent: *
Disallow: /

説明

  • User-agent: *
    • すべてのクローラを対象にする
  • Disallow: /
    • ルート配下の全ディレクトリを対象にする

失敗例

robots.txtUser-agent: *
Disallow:

※Disallowが未指定の場合、許可扱いになる

他の方法

noindex

<meta name="robots" content="noindex">

.htaccess

.htaccessDeny from all

X-Robots-Tag HTTPヘッダー

.htaccessX-Robots-Tag: noindex

参考