Python 크롤러 전문가 여러분, 이 웹사이트에서 크롤링 방지를 처리하는 방법을 살펴보고 알아보세요.

Question

https://www.everysaving.co.uk
이 웹사이트의 데이터를 Python으로 크롤링하지만 데이터가 반환되지 않습니다! 크롤링을 위해 헤더와 프록시 IP를 추가했지만 작동하지 않았습니다. . .

Answer 1

에이전트 액세스 웹사이트는 아래 사진에서 볼 수 있습니다:

https://www.17ce.com/을 통해 중국 본토가 거의 다 차단되고, HTTP 상태가 403을 반환하는 것을 확인했습니다.
이 웹사이트의 보안 정책 수준은 상대적으로 높으며, 크롤링 빈도를 줄이기 위해 유럽 및 미국의 익명성이 높은 프록시 VPN 또는 서버를 사용하는 것이 좋습니다.

Answer 2

Fiddler는 패킷을 캡처하므로 브라우저가 보내는 모든 것을 보낼 수 있습니다

Answer 3

브라우저를 통해 주소에 직접 접근할 수 없습니다. 차단되어 있나요?

Answer 4

직접 클릭하면 접속이 안되네요. 싱가폴에서 프록시로 테스트했는데 열리네요