2018-05-05T01:46:37Z

BloggerのSEO対策としてのクローラの設定

BloggerのSEO対策としてのサイトマップの登録と合わせてクローラ対策したのでクローラ部分の話です。

Bloggerのクローラ

Bloggerでは、標準だと以下のようなrobots.txtが設定されています。

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://自サイト/sitemap.xml

アドセンス等をやる場合、以下の記述では、Adsenseのクローラが巡回できないため、削除したほうが無難です。

User-agent: Mediapartners-Google
Disallow:

サイト内検索やラベルの一覧表示をクローラに閲覧許可する場合、以下の記述を見直したほうが無難です。

Disallow: /search

独自のrobots.txt

参考までに、本サイトのrobots.txtを以下に示します。

User-agent: *
Disallow: /b/
Disallow: /20*_archive.html
Allow: /
Sitemap: http://www.bugbugnow.net/sitemap.xml

/b/は、プレビュー画面であるため、クロールから除外する。
/20*_archive.htmlは、アーカイブであるため、クロールから除外する。(2100年以降は、考慮していない)
参考リンク:Bloggerにあるページ一覧

独自の robots ヘッダー タグ

参考までに、本サイトのrobots ヘッダー タグを以下に示します。

ホームページ: all
ページをアーカイブ、検索:noindex
投稿やページのデフォルト:all

アーカイブ、検索については、重複コンテンツ対策としてインデックスしないように設定している。

カスタムads.txt

参考までに、本サイトのads.txtを以下に示します。

google.com, pub-7747394132802715, DIRECT, f08c47fec0942fa0

上記は、AdSenseのads.txtになります。

  • google.comは、広告配信システムのドメイン名
  • pub-7747394132802715は、筆者のAdSenseアカウント ID
  • DIRECTは、関係のタイプ(Googleと筆者の関係)
  • f08c47fec0942fa0は、認証機関

AdSenseのads.txtについて詳しくは、自サイトの広告枠の認定販売者を ads.txt で宣言するを参考にしてみてください。

 コメントを書く