python - scrapy는 실제로 항목을 입력하는 것보다 더 많은 페이지를 크롤링합니까?

Question

{코드...} 스크래피를 사용하여 크롤링할 때 실제로 항목을 입력하는 것보다 더 많은 페이지를 방문하는 이유는 무엇입니까? 오랫동안 크롤링한 후 항목에 데이터가 많지 않은 문제를 해결할 수 있는 방법이 있습니까?

ringa_lee · Answer

리디렉션됨 보시다시피 리디렉션을 위해서는 두 페이지를 요청해야 합니다. 또한 페이지 구문 분석 오류가 있는지 확인하세요.