Python爬虫程序运行“卡顿”

Question

用Python爬取某网站两个月的数据，程序“卡顿”，但并未报错，也未结束。如上图所示。
例如，我把时间循环设置为2016.8.1--2016.10.1，抓取到数据的就只能到2016.9.4，然后程序也没运行结束，但数据库也一直没有更多的数据进入。出现“卡顿”。

然后我换了台配置更好的电脑，情况会好很多，可以抓取半年的数据。本来我想抓一年的数据，但抓取到半年的数据的数据后，也会出现如图所示的情况，并且数据库也一直未添加更多的数据。即“卡顿”。

我想知道有没有办法能够一次抓取的数据多点？？

Answer 1

障害の理由は何ですか?次の方法で分析できます:

1. ネットワークが原因かどうかを確認するためのパケット キャプチャ分析。
2. クローラーの作成に使用したフレームワークは urllib2 ですか? それとも Scrapy フレームワークですか?
3. URL プールが処理され、新しいターゲット タスクがクロール キューに追加されていないかどうかを確認します。

Answer 2

マルチスレッドを使用でき、各スレッドが 1 か月分のデータを処理するため、いずれかの月のデータに問題があった場合でも、ほとんどのデータの整合性が確保され、その後、問題が発生した月を詳細に分析できます。