python - Scarpy-redis 빈 실행 문제를 해결하는 방법은 무엇입니까?

Question

scrapy-redis 프레임워크에서 저장된 리드xxx:requests가 크롤링되었지만 프로그램이 계속 실행 중입니다. 비어 있는 상태로 실행되는 대신 프로그램을 자동으로 중지하는 방법은 무엇입니까?

으아악

---

engine.close_spider(spider, 'reason')을 통해 프로그램을 중지할 수 있습니다.

으아악

제가 이해하지 못하는 또 다른 질문이 있습니다.
engine.close_spider(spider, 'reason')를 통해 스파이더를 닫으면 닫히기 전에 여러 오류가 발생합니다.

으아악

Answer 1

접속된 요청이 크롤링되었는지 어떻게 알 수 있나요? 이를 정의해야 합니다.
복잡하지 않다면 내부 확장 프로그램을 사용하여 끌 수 있습니다!

scrapy.contrib.closespider.CloseSpider

CLOSESPIDER_TIMEOUT
CLOSESPIDER_ITEMCOUNT
CLOSESPIDER_PAGECOUNT
CLOSESPIDER_ERRORCOUNT
http://scrapy-chs.readthedocs...