PC 접속이 모바일 주소 문제가 되었습니다#python#scrapy

Question

스크래피를 이용해 히말라야 크롤링을 하고, PC 주소를 크롤링해 보면 응모 링크의 응답은 괜찮은데 후속 응답에는 모바일 주소가 보입니다. . . .

스파이더 코드는 다음과 같습니다.

으아아아

콘솔 출력:

middlewares.RotateUserAgentMiddleware가 작성되어 효과적이며 출력 내용도 볼 수 있습니다.

크롤링 방지 메커니즘을 실행합니까?

Answer 1

헤더에 사용자 에이전트가 설정되어 있지 않기 때문일 것입니다

Answer 2

요청 헤더를 신중하게 구성하세요. 모바일 단말기인지 여부는 일반적으로 사용자 에이전트에 의존합니다.
아무 것도 없이 데이터에 액세스할 수 있으며 이는 또한 대상 웹사이트가 안티 핫링크에 별로 주의를 기울이지 않는다는 것을 보여줍니다.