ロボットがphpをクロールできないようにする方法

ロボットによる php のクロールを禁止する方法: 1. robots.txt ファイルに「Disallow: /*?*」と書き込みます; 2. robots.txt にルール「User-agent:*Allow」を追加しますファイル: .html$ 許可しない: /"。

この記事の動作環境: Windows7 システム、PHP7.1 バージョン、DELL G3 コンピューター

ロボットが検索エンジンにアクセスを禁止します。 PHP 動的 URL のクロール

いわゆる動的 URL とは、URL に次のものが含まれることを意味します。 、&、およびその他の文字タイプの URL (例: news.php?lang=cn&class=1&id=2)。Web サイトの擬似静的を有効にした後は、 Web サイトの SEO: エンジンは Web サイトの動的 URL をクロールします。

なぜこれを行うのでしょうか?これは、同じページを 2 回クロールした後、検索エンジンが Web サイト上で何らかのアクションを引き起こすためですが、最終的には同じページであると判断されるためです。どのように罰するのか正確にはわかりません。ウェブサイト全体のSEO。では、検索エンジンが Web サイトの動的 URL をクロールしないようにするにはどうすればよいでしょうか?

robots.txt ファイルを使用することでこの問題を解決できますので、以下の詳細な操作を参照してください。

すべての動的ページには共通の特徴がある、つまり、リンクに「?」疑問符記号が含まれることがわかっているため、robots.txt ファイルに次のルールを記述することができます。

User-agent: *
Disallow: /*?*

これにより、検索エンジンが Web サイト全体の動的リンクをクロールできなくなります。さらに、検索エンジンに HTML 形式の静的ページなど、指定した種類のファイルのみをクロールさせたい場合は、robots.txt に次のルールを追加できます。

User-agent: *
Allow: .html$
Disallow: /

また、記述されたロボットも忘れずに追加してください。 txt ファイルを Web サイトのルート ディレクトリに配置しないと機能しません。さらに、ルールを記述するための簡単なショートカットもあり、Google ウェブマスター ツールにログインし、そこにルールを記述して、robots.txt ファイルを生成します。

[推奨学習: 「PHP ビデオ チュートリアル 」]

以上がロボットがphpをクロールできないようにする方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。