windows - Python爬虫爬资源时由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。怎么破？

Answer 1

可以换用scrapy框架来实现爬虫，可以实现抓取失败尝试3次，如果还失败可以自定义写进日志里面，后边自己再慢慢处理

Answer 2

requests.get有超时参数。

 a = requests.get("http://www.baidu.com",timeout = 500)