Verwenden Sie das Python-Scrapy-Framework, um URLs in einer Schleife zu crawlen. Jedes Mal, wenn es eine Weile ausgeführt wird, bleibt es ohne Fehler hängen.

Question

Jedes Mal, wenn es etwa eine halbe Stunde läuft, friert es sofort ein. Es gibt keinen Fehler im Protokoll. Wenn es einfriert, ist die CPU-Auslastung sehr hoch

Ich habe das Download-Timeout in Setting.py festgelegt, aber das ist nicht der Grund für das Timeout

Strg-C kann nicht normal beendet werden, das gleiche Problem bleibt bestehen, wenn die Ausführung nach einer halben Stunde wieder einfriert

Answer 1

先TOP看看是内否过高，还是CPU过高，再找到是被哪些进程占用了
如果都是你的爬虫进程，那就得排查代码，看看是不是哪里一直未被释放

总之从各方面去排查吧

Answer 2

strace