Robot d'exploration Web - Introduction au robot d'exploration Python

Question

Je suis sur le point d'être en deuxième année à l'université. J'ai étudié Python par moi-même et j'ai une grammaire de base. Je veux apprendre l'exploration, mais je pense que cela implique beaucoup de connaissances. Y a-t-il quelqu'un qui l'a expérimenté et qui peut résumer ce qu'il sait, ou comment apprendre l'exploration Python ?

Answer 1

L'apprentissage des robots d'exploration doit être basé sur la demande. Vous voyez, il y a tellement de robots d'exploration juniors sur Internet qui recherchent des blagues, des photos de belles femmes, etc. Vous pouvez obtenir ces robots d'exploration simples en trois jours.

Mais si on y va en profondeur, c'est très difficile, et de nombreux aspects sont impliqués.

Commencer n'est pas difficile, vous pouvez lire ceci--
Comment apprendre le robot d'exploration Python [Introduction] https://zhuanlan.zhihu.com/p/...

Answer 2

En principe, il s'agit d'une requête http, un peu plus de session et de cookie, et un peu plus de reconnaissance du code de vérification.
Quant à l'outil, l'outil de requête peut utiliser urllib2, ou encore mieux, la bibliothèque de requêtes. La requête doit être analysée, ce qui est magnifique.

Tutoriel de base Python | Tutoriel novice http://www.runoob.com/python/...

Documentation Beautiful Soup 4.2.0 — Documentation Beautiful Soup 4.2.0 https://www.crummy.com/softwa...

Performances du robot : NodeJs VS Python - QueenKing - SegmentFault /a/11...

Utilisez KNN pour la reconnaissance du code de vérification - QueenKing - SegmentFault /a/11...

Answer 3

Vous pouvez vous référer au framework de robot Python-Scrapy, qui dispose d'un manuel en chinois.