首頁  >  問答  >  主體

windows - Python爬虫爬资源时由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。怎么破?

迷茫迷茫2740 天前4364

全部回覆(2)我來回復

  • 高洛峰

    高洛峰2017-04-18 10:16:55

    可以換用scrapy框架實現爬蟲,可以實現抓取失敗嘗試3次,如果還失敗可以自訂寫進日誌裡面,後邊自己再慢慢處理

    回覆
    0
  • PHPz

    PHPz2017-04-18 10:16:55

    requests.get有超時參數。

     a = requests.get("http://www.baidu.com",timeout = 500)

    回覆
    0
  • 取消回覆