Scrapy에는 메모리 누수 문제가 있습니다.
크롤러를 작성하면 잠시 동안(12시간 이내) 실행된 후 항상 OOM이 발생합니다. 매우 무력합니다! ! !
공식 문서에 따르면 이 prefs()를 사용했는데 실제로 문제를 찾을 수 없었습니다.
크롤러의 프로세스는 모든 페이지의 a 태그 링크를 얻는 것입니다:
으아아아조언 좀 부탁드립니다. 감사합니다
크롤러를 작성하면 잠시 동안(12시간 이내) 실행된 후 항상 OOM이 발생합니다. 매우 무력합니다! ! !
공식 문서에 따르면 이 prefs()를 사용했는데 실제로 문제를 찾을 수 없었습니다.
크롤러의 프로세스는 모든 페이지의 a 태그 링크를 얻는 것입니다:
으아아아조언 좀 부탁드립니다. 감사합니다
