스크래피를 이용해 히말라야 크롤링을 하고, PC 주소를 크롤링해 보면 응모 링크의 응답은 괜찮은데 후속 응답에는 모바일 주소가 보입니다. . . .
스파이더 코드는 다음과 같습니다.
으아아아콘솔 출력:
middlewares.RotateUserAgentMiddleware가 작성되어 효과적이며 출력 내용도 볼 수 있습니다.
크롤링 방지 메커니즘을 실행합니까?
欧阳克2017-06-30 09:57:13
요청 헤더를 신중하게 구성하세요. 모바일 단말기인지 여부는 일반적으로 사용자 에이전트에 의존합니다.
아무 것도 없이 데이터에 액세스할 수 있으며 이는 또한 대상 웹사이트가 안티 핫링크에 별로 주의를 기울이지 않는다는 것을 보여줍니다.
