Comment empêcher les robots d'explorer PHP

Comment interdire aux robots d'explorer PHP : 1. Écrivez "Disallow: /*?*" dans le fichier robots.txt ; 2. Ajoutez la règle "User-agent:* Allow" au robots.txt ; fichier : .html$ Interdire : /".

L'environnement d'exploitation de cet article : système Windows7, version PHP7.1, ordinateur DELL G3

les robots interdisent aux moteurs de recherche de crawling php Dynamics URL

L'URL dite dynamique signifie que l'URL inclut ? , & et d'autres URL de type caractère, telles que : news.php?lang=cn&class=1&id=2, lorsque nous activons le pseudo-statique du site Web, dans un souci de référencement du site Web, il est nécessaire d'empêcher les moteurs de recherche d'explorer l'URL dynamique de notre site Web.

Pourquoi fais-tu ça ? En effet, le moteur de recherche déclenchera certains déclencheurs sur le site Web après avoir exploré deux fois la même page, mais il est finalement déterminé qu'il s'agit de la même page. Je ne sais pas exactement comment la punir. Bref, ce n'est pas propice. Référencement de l'ensemble du site Internet. Alors, comment empêcher les moteurs de recherche d’explorer l’URL dynamique de notre site Web ?

L'utilisation du fichier robots.txt peut résoudre ce problème. Veuillez consulter l'opération détaillée ci-dessous.

Nous savons que les pages dynamiques ont toutes une caractéristique commune, c'est-à-dire qu'il y aura un symbole de point d'interrogation "?" dans le lien, nous pouvons donc écrire les règles suivantes dans le fichier robots.txt :

User-agent: *
Disallow: /*?*

Cela empêchera les moteurs de recherche d'explorer les liens dynamiques de l'ensemble du site Web. De plus, si nous souhaitons que les moteurs de recherche explorent uniquement des types de fichiers spécifiques, comme les pages statiques au format html, nous pouvons ajouter les règles suivantes au robots.txt :

User-agent: *
Allow: .html$
Disallow: /

Pensez également à ajouter les robots écrits. txt dans le répertoire racine de votre site Web, sinon cela ne fonctionnera pas. De plus, il existe un raccourci simple pour écrire des règles. Connectez-vous à Google Webmaster Tools, écrivez-y simplement les règles, puis générez le fichier robots.txt.

[Apprentissage recommandé : "Tutoriel vidéo PHP"]

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!