python爬虫防封IP的方法应该放到代码的哪个位置

Question

想要爬豆瓣电影，但是很容易403，就想代理IP或者修改请求头，但是看了很多资料，不知道他们那些代码应该放到整个程序的哪个位置，我用的是美丽汤和request，应该增添什么代码，增添到什么位置

Answer 1

BeautifulSoupの中国語名は元々は美しいスープと呼ばれていました。 。 。

サーバーは通常、リクエストされた IP アドレスを IP パケットを通じて検出するため、HTTP リクエストの内容を変更するだけでは一般に機能しません。リクエスト アクセスのプロキシ機能を使用して IP 制限を解除するのが最善の方法です。

Answer 2

ぜひご覧ください
Python クローラーの単語関連付けビデオとコード
https://zhuanlan.zhihu.com/p/...

Brother Huang からプロキシ IP と検証をキャプチャするための Python クローラーを学びます。
https://zhuanlan.zhihu.com/p/...
Huang Ge からプロキシ IP をキャプチャするための Python クローラーを学習します
https://zhuanlan.zhihu.com/p/...