MediaWikiのrobots.txtの書き方

始めに

robots.txtは、クロール最適化の手段の一つで、ユーザーページや自動生成ページなど検索エンジンに表示される必要のないページへのクロールを制御し、重要なページのみを検索エンジンに認識してもらうためのものです。ここは、MediaWiki用について書きます。

書き方

ここのサイトで、せっちしているものです。参考程度にしてください。

MediaWiki関係配置場所

http://sudachi.jp/w/       # MediaWiki本体設置
http://sudachi.jp/wiki/    # ショートURL

robots.txt設置場所

http://sudachi.jp/robots.txt

MediaWiki用robots.txt

User-agent: *

# MediaWiki
#
Allow: /w/api.php?action=mobileview&
Allow: /w/load.php?
Allow: /w/sitemap/
Disallow: /w/
#
# 検索ページ
Disallow: /wiki/%E7%89%B9%E5%88%A5:Search
Disallow: /wiki/%E7%89%B9%E5%88%A5%3ASearch
#
# ブラックリスト関係
Disallow: /wiki/MediaWiki:Spam-blacklist
Disallow: /wiki/MediaWiki%3ASpam-blacklist
Disallow: /wiki/MediaWiki%E2%80%90%E3%83%8E%E3%83%BC%E3%83%88:Spam-blacklist
Disallow: /wiki/MediaWiki%E2%80%90%E3%83%8E%E3%83%BC%E3%83%88%3ASpam-blacklist
Disallow: /wiki/MediaWiki:Titleblacklist
Disallow: /wiki/MediaWiki%3ATitleblacklist
Disallow: /wiki/MediaWiki%E2%80%90%E3%83%8E%E3%83%BC%E3%83%88:Titleblacklist
Disallow: /wiki/MediaWiki%E2%80%90%E3%83%8E%E3%83%BC%E3%83%88%3ATitleblacklist
#
# 利用者ページ・会話ページ
Disallow: /wiki/利用者:
Disallow: /wiki/%E5%88%A9%E7%94%A8%E8%80%85:
Disallow: /wiki/%E5%88%A9%E7%94%A8%E8%80%85%3A
Disallow: /wiki/利用者‐会話:
Disallow: /wiki/%E5%88%A9%E7%94%A8%E8%80%85%E2%80%90%E4%BC%9A%E8%A9%B1:
Disallow: /wiki/%E5%88%A9%E7%94%A8%E8%80%85%E2%80%90%E4%BC%9A%E8%A9%B1%3A