Python のスクレイピー フレームワークを使用して URL をループでクロールします。しばらく実行するたびに、エラーが発生せずに停止します。

Question

約 30 分ほど実行するたびに、直接フリーズします。ログにはエラーはありません。フリーズすると、CPU 使用率が非常に高くなります。

setting.py でダウンロードのタイムアウトを設定しましたが、それがタイムアウトの理由ではありません

ctrl-c は正常に終了できません。ctrl-z が終了した後、実行を続けると同じ問題が発生します。30 分後に再びフリーズします。

Answer 1

まず TOP をチェックして、メモリが多すぎるか、CPU が高すぎるかどうかを確認し、次にどのプロセスが占有されているかを確認します。
それらがすべてクローラー プロセスである場合は、コードをチェックして、何か問題があるかどうかを確認する必要があります。発売されてない

要するに、あらゆる面から調査しましょう

Answer 2

ストラス