python爬虫防封IP的方法应该放到代码的哪个位置

Question

想要爬豆瓣电影，但是很容易403，就想代理IP或者修改请求头，但是看了很多资料，不知道他们那些代码应该放到整个程序的哪个位置，我用的是美丽汤和request，应该增添什么代码，增添到什么位置

Answer 1

BeautifulSoup의 중국 이름은 원래 BeautifulSoup입니다. . .

불평이 끝났습니다. 서버는 일반적으로 IP 패킷을 통해 요청된 IP 주소를 감지하므로 일반적으로 HTTP 요청의 내용을 수정하는 것만으로는 작동하지 않습니다. 가장 좋은 방법은 액세스 요청의 프록시 기능을 사용하는 것입니다. IP 제한 문제.

Answer 2

한 번 보세요
파이썬 크롤러 단어 연관 영상 및 코드
https://zhuanlan.zhihu.com/p/...

황 형제에게서 프록시 IP 및 확인을 캡처하는 Python 크롤러를 알아보세요.
https://zhuanlan.zhihu.com/p/...
황 형제에게 Python 크롤러 크롤러 IP 배우기
https://zhuanlan.zhihu.com/p/...