python爬虫防封IP的方法应该放到代码的哪个位置

Question

想要爬豆瓣电影，但是很容易403，就想代理IP或者修改请求头，但是看了很多资料，不知道他们那些代码应该放到整个程序的哪个位置，我用的是美丽汤和request，应该增添什么代码，增添到什么位置

Answer 1

Le nom chinois de BeautifulSoup s'appelle à l'origine Beautiful Soup. . .

Fini de vous plaindre, le serveur détecte généralement l'adresse IP demandée via des paquets IP, donc la simple modification du contenu de la requête HTTP ne fonctionne généralement pas. Le meilleur moyen est d'utiliser la fonction proxy de Requests. Pour y accéder, vous pouvez supprimer le. Problème de restriction IP.

Answer 2

Veuillez jeter un oeil
Vidéo et code de l'association de mots du robot Python
https://zhuanlan.zhihu.com/p/...

Apprenez le robot d'exploration Python pour capturer l'adresse IP du proxy et la vérification de Brother Huang.
https://zhuanlan.zhihu.com/p/...
Apprenez l'adresse IP du robot d'exploration Python auprès de frère Huang
https://zhuanlan.zhihu.com/p/...