搜尋

首頁  >  問答  >  主體

python - pyspider爬pdf爬了一小段时间后就不动了


下载了一小部分之后就不动了,stop之后重新跑也没有任何反应,有人知道是怎么回事吗?谢谢大家。

迷茫迷茫2795 天前665

全部回覆(2)我來回復

  • 巴扎黑

    巴扎黑2017-04-18 10:33:58

    放代碼吧 騷年

    回覆
    0
  • 阿神

    阿神2017-04-18 10:33:58

    根據 dashboard 最上方的資訊

    scheduler 到 fetcher 有100個佇列中的任務
    fetcher 到 processor 也有100個佇列中的任務
    processor 下游都是空的

    因為預設的佇列容量為 100,這說明在 processor 發生了堵塞,那就要看 processor 在幹什麼,是不是死掉了。

    回覆
    0
  • 取消回覆