python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据？

Question

请求所需参数全部带上了，并且已带上cookies,已修改header，拿到的数据是提示刷新的HTML，如图：

原网页是动态加载的瀑布流，即往不断下拉就不断有内容呈现出来，静候大神，目前采用scrapy框架，暂时还不想上selenium+phantomjs，太重了

Answer 1

Pour les données chargées dynamiquement, vous devez les demander via l'API Ajax plutôt que sur la page Web. Si vous voulez bien faire votre travail, vous devez d'abord affiner vos outils et faire bon usage de F12.

Answer 2

Cette situation est beaucoup plus facile à résoudre que de récupérer une page Web IP proxy, en utilisant des cookies mais en signalant une erreur ===, vous pouvez juger complètement le contenu de la page actuelle puis effectuer une actualisation simulée~ L'important est de maintenir la session .

Si cela ne fonctionne toujours pas, vous pouvez ajouter un référent et réessayer