Comment vérifier si un site Web est exploré par Baidu

Comment vérifier si le site Web est exploré par Baidu : en analysant l'activité des araignées Baidu dans le journal du site Web, la fréquence d'exploration, le code d'état HTTP renvoyé, etc. Vous pouvez également consulter le fichier journal dans le répertoire racine du site Web, qui enregistre les visites et les opérations sur le site Web.

Le programme utilisé par Baidu pour explorer les pages Web s'appelle Baiduspider - Baidu Spider. Nous analysons principalement la situation du site Web exploré par Baidu Baidu Spider. le journal du site Web activité de Baiduspider : fréquence d'exploration, code d'état HTTP renvoyé.

Comment afficher le journal :

Par FTP, recherchez un fichier journal dans le répertoire racine du site Web. Le nom du fichier contient généralement le journal. bloc-notes à l'intérieur, qui est le journal du site Web, enregistrant les visites et les opérations du site Web.

Étant donné que les conditions de chaque serveur et hôte sont différentes, les fonctions de journalisation des différents hôtes enregistrent des contenus différents, et certains n'ont même pas de fonction de journalisation.

Le contenu du journal est le suivant :

61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/ thread-7303 -1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"

Analyse :

GET /bbs/thread-7303-1-1.html signifie récupérer la page /bbs/thread-7303-1-1.html.

200 signifie une capture réussie.

8450 signifie que 8450 octets ont été capturés.

Si le format de votre journal n'est pas comme celui-ci, cela signifie que les paramètres de format du journal sont différents.

Vous pouvez voir 200 0 0 et 200 0 64 dans de nombreux journaux, qui représentent une exploration normale.

La fréquence d'exploration est connue en vérifiant le nombre d'explorations Baidu Spider dans les journaux quotidiens. Il n'existe pas d'horaire standardisé ni de numéro de fréquence pour la fréquence d'exploration. Nous la jugeons généralement en comparant les journaux sur plusieurs jours. Bien sûr, nous espérons que Baidu Spider rampera autant de fois que possible chaque jour.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!