python - 禁止自己的网站被爬虫爬去？

Question

禁止自己的网站被爬虫爬去？有什么方法啊

Answer 1

Si vous vous défendez contre les robots d'exploration ciblés, vous pouvez imposer certaines restrictions d'accès, telles que la fréquence d'accès, ajouter des codes de vérification, etc.

Answer 2

1. Le contenu important est ajouté dynamiquement à l'aide de js

2. Limitation http_referer

3. Différentes interfaces peuvent prendre en compte différents modèles, du genre qu'un ensemble d'expressions régulières ne peut pas parfaitement correspondre

4. Ajoutez aléatoirement des informations de droits d'auteur au contenu pouvant être exploré

5. . Vous ne pouvez visiter qu'après vous être connecté

.

6. Enregistrer les journaux d'accès

C'est tout ce à quoi je peux penser, mais si vous voulez vraiment l'attraper, cela rendra les choses un peu plus difficiles

Answer 3

Pour désactiver l'exploration des moteurs de recherche, vous pouvez modifier le fichier robots.txt
Il est un peu difficile de désactiver l'exploration personnelle. Vous ne pouvez qu'augmenter la difficulté, par exemple en ajoutant des codes de vérification plus complexes, une fréquence d'accès, un style/données réguliers. changements de format, etc.