찾다

 >  Q&A  >  본문

python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据?

请求所需参数全部带上了,并且已带上cookies,已修改header,拿到的数据是提示刷新的HTML,如图:

原网页是动态加载的瀑布流,即往不断下拉就不断有内容呈现出来,静候大神,目前采用scrapy框架,暂时还不想上selenium+phantomjs,太重了

迷茫迷茫2794일 전559

모든 응답(2)나는 대답할 것이다

  • 黄舟

    黄舟2017-04-18 10:32:53

    동적으로 로드되는 데이터의 경우 웹페이지가 아닌 ajax API를 통해 요청해야 합니다. 작업을 잘 수행하려면 먼저 도구를 갈고 닦고 F12를 잘 활용해야 합니다.

    회신하다
    0
  • 大家讲道理

    大家讲道理2017-04-18 10:32:53

    이 상황은 프록시 IP 웹페이지를 가져오는 것보다 훨씬 해결하기 쉽습니다. 쿠키를 사용하지만 오류===를 보고하면 현재 페이지 내용을 완전히 판단한 다음 시뮬레이션 새로 고침을 수행할 수 있습니다~ 중요한 것은 세션을 유지하는 것입니다 .

    그래도 작동하지 않으면 추천인을 추가하고 다시 시도해 보세요

    회신하다
    0
  • 취소회신하다