1


0

robots.txt URLでこれを使用してエンジンがURLをクロールできないようにする方法:“ http:
Disallow: /*“http:

私が使用しているものです-私の推測では、どういうわけか引用符をエスケープする必要があるかもしれません。 Googleウェブマスターツールでは、その引用符さえ読みません(robots.txtファイルを確認して、いくつかのURLでテストできます)。

Googleウェブマスターツールでは、この行の引用符なしでrobots.txtファイルが表示されます。

Disallow: /*http:

任意の提案は大歓迎です。

主な問題は、スクリプトが正しくフォーマットされておらず、サイトへのクロールエラーがあることです。

http://www.domain.com/“http://www.domain.com/directory/directory/dir_ectory/dir_ectory/pagetitle"

クロールエラーが発生するページの例です。 robots.txtページを修正すると、これらのページがウェブマスターツールのクロールエラーに表示されなくなります。

0 Answer