python - 禁止自己的网站被爬虫爬去？

Question

禁止自己的网站被爬虫爬去？有什么方法啊

Answer 1

Ajouter un fichier robots.txt avec du contenu :

User-agent: *
Disallow: /

Answer 2

Ajoutez robots.txt pour indiquer au robot d'exploration de ne pas explorer mon site Web, mais il ne sera pas interdit de force. Il s'agit simplement d'un accord que les deux parties doivent respecter.

Answer 3

Je ne sais pas si le robot dont vous parlez fait référence au robot Baidu ou au robot que nous avons écrit nous-mêmes.

Les robots d'exploration Baidu peuvent simplement suivre la méthode ci-dessus. Il existe de nombreuses façons d'empêcher les robots d'autres personnes, par exemple de générer dynamiquement toutes les classes ou tous les identifiants. Parce que les robots analysent généralement le HTML pour obtenir ce qu'ils veulent via la classe ou l'identifiant.

Answer 4

Cela dépend aussi de quel type de reptile il s'agit
Un type gentleman ? Miniature?
Si ce robot peut respecter l'accord robots.txt, alors ce n'est pas grave
Mais ce n'est qu'un gentleman's Agreement
S'il rencontre un méchant, alors ce n'est pas grave

Answer 5

1) Vous pouvez essayer la compression gzip pour JS. De nombreux robots d'exploration n'analyseront pas les js compressés avec gzip
2) Utilisez le journal pour analyser les journaux du serveur Web s'il s'agit d'un accès malveillant à vos ressources clés et à celles-ci. autre partie C'est une IP fixe, vous pouvez essayer de bannir l'IP de l'autre partie

Answer 6

Pour être honnête, c’est impossible de le faire absolument

Answer 7

C'est inutile. Tout d'abord, si votre site Web est ouvert aux gens, il sera naturellement ouvert aux robots d'exploration. A moins qu'il ne soit transformé en un réseau interne, si vous vous concentrez sur l'empêchement des robots d'exploration, autant vous améliorer. la qualité. De nos jours, les sites Web d'informations classifiées sont tout simplement rampants, mais l'expérience utilisateur n'est fondamentalement pas améliorée.

Answer 8

Pfft, vous pouvez gâcher les classes et les identifiants pour que les règles habituelles ne puissent pas correspondre

Answer 9

Je ne sais pas s'il est possible de générer dynamiquement tout le contenu js dans la page Web

Answer 10

Tout d'abord, il vous est difficile d'empêcher l'exploration à 100 % des robots, à moins qu'il ne s'agisse d'un réseau interne comme mentionné ci-dessus.

Mais vous pouvez prendre certaines mesures pour empêcher certains robots d'exploration low-tech d'explorer votre site Web.

Pour des mesures spécifiques, vous pouvez vous rendre sur Zhihu. Pour lire cet article, cliquez ici

J'espère que cela vous aidera