robots.txtの書き方

robots.txtの書き方はSEO担当者なら知っておくべきこと（robots.txtとは）ですが、どのように書くのか、何を禁止し、何を許可するのかは自分で設定する必要があります。

Baidu Spider は機械であり、数字、文字、漢字のみを認識し、robots.txt は Baidu との最も重要かつ最初の「対話」です。

Web サイトがまだ構築されていないときは、Baidu に Web サイトをクロールしてほしくありません。また、Baidu による Web サイトのクロールを禁止する人もよくいます。ただし、このアプローチは、Baidu スパイダーが Web サイトに再び来るのを困難にするため、非常に悪いです。したがって、今すぐローカルに Web サイトを構築し、すべてが完了してからドメイン名とスペースを購入する必要があります。そうしないと、Web サイトの変更を繰り返すと、Web サイトに悪影響が及ぶ可能性があります。

弊社 Web サイトの最初の robots.txt は次のように記述されています:

User-agent: *

Disallow: /wp-admin/

Disallow : / wp-includes/

User-agent: * は、すべてのエンジンのクロールを許可することを意味します。

Disallow: /wp-admin/ および Disallow: /wp-includes/ は、Baidu がユーザーのパスワードやデータベースなどのプライバシーをクロールすることを禁止します。この書き方は私たちのプライバシーを保護するだけでなく、Baidu Spider のクロールを最大限に高めます。

Baidu Spider による 123.html などの特定のページのクロールを禁止したい場合は、「Disallow: /123.html/」というコードを追加します。

robots.txt を作成したら、それを Web サイトのルート ディレクトリにアップロードするだけです。

以上がrobots.txtの書き方の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。