Scrapy에는 메모리 누수 문제가 있습니다.

Question

크롤러를 작성하면 잠시 동안(12시간 이내) 실행된 후 항상 OOM이 발생합니다. 매우 무력합니다! ! !
공식 문서에 따르면 이 prefs()를 사용했는데 실제로 문제를 찾을 수 없었습니다.

으아아아

크롤러의 프로세스는 모든 페이지의 a 태그 링크를 얻는 것입니다:

으아아아

조언 좀 부탁드립니다. 감사합니다

Answer 1

yield item 구현하고 파일이나 DB를 저장해야 하나요? 그렇지 않으면 메모리에 저장되나요?