찾다

 >  Q&A  >  본문

python - URL에 어떤 종류의 크롤링 방지 프로그램이 사용되는지 확인하는 방법

웹사이트: https://www.nvshens.com/g/22377/. 브라우저에서 직접 웹사이트를 연 후 이미지를 마우스 오른쪽 버튼으로 클릭하여 다운로드하세요. 그러면 내 크롤러에서 직접 요청한 이미지가 차단되었습니다. 그런 다음 헤더를 변경하고 IP 프록시를 설정했지만 여전히 작동하지 않았습니다. 하지만 패킷 캡처를 보면 동적으로 로드된 데이터가 아닙니다! ! ! 답변해주세요 ==

ringa_leeringa_lee2731일 전1270

모든 응답(4)나는 대답할 것이다

  • 过去多啦不再A梦

    过去多啦不再A梦2017-06-12 09:29:51

    여자가 꽤 예쁘네요.
    실제로 마우스 오른쪽 버튼을 클릭하면 열 수 있지만 새로고침하면 핫링크된 사진이 됩니다. 일반적으로 핫링크를 방지하기 위해 서버는 요청 헤더의 Referer字段,这就是为什么刷新后就不是原图的原因(刷新后Referer가 변경되었는지 확인합니다.

    으아악

    회신하다
    0
  • 欧阳克

    欧阳克2017-06-12 09:29:51

    사진을 얻을 때 패킷을 캡처하여 매개 변수를 놓쳤습니까?

    회신하다
    0
  • 我想大声告诉你

    我想大声告诉你2017-06-12 09:29:51

    저는 웹사이트의 내용을 보고 있었는데 공식 내용이라는 사실을 거의 잊어버릴 뻔했습니다.
    요청하신 모든 정보를 팔로우하실 수 있습니다

    그럼 한번 해보세요

    회신하다
    0
  • 女神的闺蜜爱上我

    女神的闺蜜爱上我2017-06-12 09:29:51

    Referer 이 웹사이트의 디자인에 따르면 각 페이지는 단일 Referer를 사용하는 대신 인간인 척하는 행동에 더 부합해야 합니다.
    다음은 모든 사진을 캡처하기 위해 실행할 수 있는 완전한 코드입니다. 18페이지

    으아악

    회신하다
    0
  • 취소회신하다