python - scrapy假死是怎么回事？

Question

http://news.ifeng.com/listpage/11502/20150924/1/rtlist.shtml我爬的是上面凤凰网的链接，链接里的日期通过循环来变，但是运行一段时间后，scrapy就停止爬取了，但还在运行，而且python进程占用cpu过高，到百分...

大家讲道理 · Answer

scrapy没有设置默认的timeout,应该是服务器没有响应吧,请求超时,可以在settings.py中进行设置