9


3

クローラーにindex.phpへのアクセスのみを許可したい場合、これは機能しますか?

ユーザーエージェント:*許可しない:/許可:/index.php

5 Answer


20


はい、うまくいきます。 https://www.google.com/webmasters/tools/robots-analysis-ac [Googleウェブマスターツール]のテスト結果は次のとおりです。

Url
http://www.example.org/index.php

Googlebot
Allowed by line 3: Allow: /index.php

Googlebot-Mobile
Allowed by line 3: Allow: /index.php

ただし、この構成では、ページに絶対パスでアクセスしない限り、サイトのホームページはクロールされません。 言い換えれば、 `http:// www.example.org /`は禁止されていますが、 `http:// www.example.org / index.php`は許可されています。

あなたのホームページにアクセスして欲しいならば、これはあなたのファイルのより良いバージョンです。

User-agent: *
Disallow: /
Allow: /index.php
Allow: /$


3


ユーザーエージェント: *

許可する:/index.php許可しない:/


2


Disallow / Allowの順序を入れ替えてみてください。

User-agent: *
Allow: /index.php
Disallow: /

ウィキペディアからこの情報を参照してください。

_ 「まだ、すべてのロボットと互換性を持たせるために、許可されていないディレクトリ内の単一ファイルを許可する場合は、最初にAllowディレクティブを配置し、次にDisallowを配置する必要があります。」 _

それでも私はそれがあまりにも一貫して動作するとは思わないでしょう


1


チェックアウトするには、 Google Robotsツールを使用できます。 以下のような行は特定のクモにとっては蜂蜜のようになると思いますので、robotsファイルに秘密のディレクトリを置くことは決してありません。

許可しない:/ secret


1


ユーザーエージェント:*許可:/ $許可:/index.php許可:/sitemap.xml許可:/robots.txt許可しない:/

サイトマップ:http://www.your-site-name.com/sitemap.xml