RT、json データを取得して mongodb ストレージに書き込むクローラーを作成しました。以前に書き込まれた 30,000 個を超えるデータはすべて正常でした (データベースを確認したところ、書き込みは成功しました)。しかし、突然サーバーが- Side cmd ウィンドウがクラッシュしました。スレッド設定は 10、コンピューターには i5 4210 が搭載されており、メモリは 8G です。それとも、ストレージ方法に問題があり、接続プールを使用する必要があるのでしょうか?
ringa_lee2017-05-02 09:25:35
より効果的に要求する場合は、MongoDB と pymongo のバージョン情報と MongoDB のログ情報を提供できます。
mongodb プログラムと Python プログラムが CMD ウィンドウで実行されている場合は、これら 2 つのプログラムを 2 つの異なる CMD で実行して、クラッシュを回避できるかどうかを確認できます。