抓取QQ空間說說但是 總是被封號 可以給提出一些解決方案嗎?如何既可以快速 又可以不封號!謝謝啦!
#程式碼在github上網址
https://github.com/20100507/Q...
我想大声告诉你2017-07-07 10:36:12
反爬蟲策略:
1、识别请求头,判断是否是爬虫
2、记录请求频率、路径和访问ip,判断是否是爬虫
3、请求参数中进行加密或复杂加密,增加爬虫开发的难度(如淘宝的ua算法)
4、复杂验证码
應對反爬蟲策略:
1、在爬取过程中,适当切换代理ip
2、适当降低请求频率
3、请求头模拟成浏览器的请求,也就是用户正常访问的请求
你的問題,主要可以透過定時切換ip,或一旦被封再切換ip,來解決,可以考慮去「站大爺」等代理ip網站付費獲取,或者去多用幾個電信帳號,用ASDL撥號來切換ip。