Python - Scarpy-redis が空の実行中の問題を解決するには?

Question

scrapy-redis フレームワークでは、reids に保存されている xxx:requests がクロールされましたが、プログラムはまだ実行中です。プログラムを空で実行する代わりに自動的に停止するにはどうすればよいですか?

リーリー

---

engine.close_spider(spider, 'reason') を通じてプログラムを停止できます。

リーリー

理解できない質問がもう 1 つあります。
engine.close_spider(spider, 'reason') を通じてスパイダーを閉じると、閉じる前にいくつかのエラーが発生します。

リーリー

Answer 1

発行されたリクエストがクロールされたことを確認するにはどうすればよいですか? これを知るためには定義する必要があります
複雑でない場合は、内部拡張機能を使用してオフにすることができます。

scrapy.contrib.closespider.CloseSpider

CLOSESPIDER_TIMEOUT
CLOSESPIDER_ITEMCOUNT
CLOSESPIDER_PAGECOUNT
CLOSESPIDER_ERRORCOUNT
http://scrapy-chs.readthedocs...