python - scrapy를 사용하여 웹사이트 콘텐츠를 크롤링할 때 일부 콘텐츠의 빈 값을 무시하는 방법

Question

JD.com에서 모든 휴대폰 정보를 크롤링할 때 다음과 같은 문제가 발생했습니다.
1 다음 그림과 같이 반환 값이 너무 많습니다.

2. 스파이더 코드는 다음과 같습니다.

-- 코딩: utf-8 --

scrapy 가져오기
from scrapy.http 가져오기 요청
from ueinfo.items 가져오기 UeinfoItem

class MrueSpider(scrapy.Spider):

으아악

파이프라인의 코드는 다음과 같습니다:

-- 코딩: utf-8 --

pymysql 가져오기

클래스 UeinfoPipeline(객체):

으아악

Answer 1

파이프라인에서

def 닫기 방법이 잘못 정의되었습니다

이렇게 해야지

def close(셀프, 스파이더)

빈 내용으로 일부 값을 무시하는 경우
를 사용하면 코드를 절약할 수 있습니다!

으아악