python - 为什么感觉 pyspider 爬取的速度好慢

Question

为什么感觉 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因为有些网页会 retry，不过成功率倒是比自己爬取的高多了。是不是我的使用方法不对？求解释

Answer 1

ここでは、Web UI コンソールでレート/バースト パラメータを設定して速度を調整できます。レートは 1 秒あたりのクロール数、バーストは同時実行数です。デフォルトは 1/3 なので、比較的遅いです。このツールについてはまだよくわかっていません

Answer 2

私はフレームワークを使ってクローラを書いたことはありませんが、自分でクローラを書く場合、モデルが複雑になればなるほど（スレッド制御、スレッド状態監視など）、並行して書くと効率が悪くなります。