python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据？
请求所需参数全部带上了，并且已带上cookies,已修改header，拿到的数据是提示刷新的HTML，如图：
原网页是动态加载的瀑布流，即往不断下拉就不断有内容呈现出来，静候大神，目前采用scrapy框架，暂时还不想上selenium+phantomjs，太重了
请求所需参数全部带上了，并且已带上cookies,已修改header，拿到的数据是提示刷新的HTML，如图：
原网页是动态加载的瀑布流，即往不断下拉就不断有内容呈现出来，静候大神，目前采用scrapy框架，暂时还不想上selenium+phantomjs，太重了
黄舟2017-04-18 10:32:53
動的にロードされるデータの場合は、Web ページではなく、Ajax API を通じて要求する必要があります。仕事をうまくやりたい場合は、まずツールを強化し、F12 を上手に活用する必要があります。
大家讲道理2017-04-18 10:32:53
この状況は、プロキシ IP Web ページを取得し、Cookie を使用してエラーを報告するよりもはるかに簡単に解決できます===。現在のページのコンテンツを完全に判断して、シミュレートされた更新を実行できます~重要なことは、セッションを維持することです。
それでも動作しない場合は、リファラーを追加して再試行できます
