python - 为什么感觉 pyspider 爬取的速度好慢

Question

为什么感觉 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因为有些网页会 retry，不过成功率倒是比自己爬取的高多了。是不是我的使用方法不对？求解释

Answer 1

這裡可以設定 web ui 控制台上的 rate/burst 參數來調節速度，rate 是 每秒抓取的數量，burst 是並發的數量，預設是 1/3 所以比較慢，還是對這個工具了解不夠呀

Answer 2

我沒有用過框架來寫爬蟲，但是我在自己寫爬蟲的時候，並發寫起來，模型越複雜(如線程控制，線程狀態監控)，效率是越低的。