在 Scrapy 中，None 值不会进入 MapCompose 处理链（因其被自动忽略），因此不能依赖输入处理器（如 handle_empty_color）来兜底空值；最可靠的方式是在数据提取阶段使用 .get(default=...) 显式指定默认值。
在 scrapy 中，`none` 值不会进入 `mapcompose` 处理链（因其被自动忽略），因此不能依赖输入处理器（如 `handle_empty_color`）来兜底空值；最可靠的方式是在数据提取阶段使用 `.get(default=...)` 显式指定默认值。
Scrapy 的 ItemLoader 和字段处理器（如 MapCompose）对 None 的处理有明确且易被误解的行为：当任意处理器返回 None 时，该值会被整个处理链跳过，后续处理器不会接收到它；更重要的是，如果初始输入就是 None（例如 add_xpath() 未匹配到任何节点），MapCompose 根本不会调用任何函数——这正是你遇到 [none] 存入数据库的根本原因。
你的 handle_empty_color 函数期望接收一个可能为 None 的列表并将其转为 ['other']，但实际中 add_xpath('exterior_color', "...") 在 XPath 无匹配时返回 None，而 MapCompose 遇到 None 输入时直接终止处理，不执行任何函数，导致字段最终保持为 None，经 TakeFirst() 后仍为 None，最终写入数据库即为空值（PostgreSQL 中显示为 [none]）。
✅ 正确做法：在提取阶段就消除 None，而非依赖处理器兜底
推荐在 Spider 的 parse 方法中，统一使用 response.xpath(...).get(default="other") 或 response.css(...).get(default="other")：
def parse_myitem(self, response):
l = ItemLoader(item=MyItem(), response=response)
# ✅ 正确：提取时提供默认值，确保传入 ItemLoader 的永远是非 None 值
exterior_color = response.xpath("//div[@class='color']/text()").get(default="other")
l.add_value('exterior_color', exterior_color) # 注意：用 add_value，非 add_xpath
# 同理处理其他字段
fuel = response.xpath("//span[@id='fuel-type']/text()").get(default="Other")
l.add_value('fuel', fuel)
yield l.load_item()
对应地，精简 items.py 中的处理器逻辑——无需再处理 None：
# items.py
def process_color(text):
"""text 确保非 None，可安全调用 .lower()"""
color = text.strip().lower()
return {
'beige': 'beige',
'white': 'white',
'black': 'black',
}.get(color, 'other')
class MyItem(scrapy.Item):
exterior_color = scrapy.Field(
input_processor=MapCompose(process_color), # ✅ 移除 handle_empty_color
output_processor=TakeFirst()
)
⚠️ 关键注意事项：
-
add_xpath()/add_css()在无匹配时返回None，且该None不会触发MapCompose中的任何函数； -
add_value()则原样传递值（包括字符串、列表或"other"），是配合.get(default=...)的标准搭档； -
@dataclass或@attr.s的字段默认值仅在 Python 层初始化对象时生效，无法替代提取逻辑——若你仍调用l.add_xpath()传入None，ItemLoader 会覆盖默认值； -
ItemLoader的default_input_processor和default_output_processor作用于所有字段，不适用于单字段定制，默认值应在提取端控制。
? 总结：Scrapy 的数据流设计遵循“提取 → 清洗 → 输出”分层原则。None 是提取失败的信号，应在第一环节（XPath/CSS 提取） 就用 .get(default=...) 显式转化为语义明确的默认值（如 "other"、"unknown"），让后续清洗逻辑只专注业务规则，而非容错。这是最清晰、最可控、也最符合 Scrapy 设计哲学的做法。
