首页  >  文章  >  后端开发  >  Python 爬虫返回403错误解决方法

Python 爬虫返回403错误解决方法

伊谢尔伦
伊谢尔伦原创
2017-04-29 10:05:506443浏览

问题

抓取数据时,通常调试信息是:

DEBUG: Crawled (200) <GET http://www.php.cn/> (referer: None)

如果出现

DEBUG: Crawled (403) <GET http://www.php.cn/> (referer: None)

表示网站采用了防爬技术anti-web-crawling technique(Amazon所用),比较简单即会检查用户代理(User Agent)信息。

解决方法

在请求头部构造一个User Agent,如下所示:

def start_requests(self):  
    yield Request("http://www.php.cn/",  
                  headers={&#39;User-Agent&#39;: "your agent string"})


以上是Python 爬虫返回403错误解决方法的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn