搜索

首页  >  问答  >  正文

python - 爬虫模拟登陆网站的次数多了,一阵子变得访问不了

如题。
我用的是requests的session来登陆的。
每次运行完都会用close()来关闭掉。
因为我在测试一些东西,所以我经常待程序运行完又马上运行。
用POST来登陆的时候没有带其他信息,就只带了要POST的数据。

这是不是网站的一种反爬虫机制?为什么浏览器多次访问就可以?要不要带上头部?

PHPzPHPz2887 天前534

全部回复(3)我来回复

  • PHP中文网

    PHP中文网2017-04-17 17:36:11

    保存cookie不就行了

    回复
    0
  • PHP中文网

    PHP中文网2017-04-17 17:36:11

    可以在请求里加上User Agent,模拟浏览器访问。

    回复
    0
  • ringa_lee

    ringa_lee2017-04-17 17:36:11

    推荐使用神箭手云爬虫平台开发爬虫,支持云端自动采集。
    简单几行 javascript 就可以实现复杂的爬虫,同时提供很多功能函数:反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等,这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。

    回复
    0
  • 取消回复