Scrapy中所有Item均经同一pipeline入口，需用isinstance判断类型分流；必须yield Item实例而非dict；多pipeline需按序启用且各自守门；process_item必须显式return。
Scrapy中多个Item必须共用同一个pipeline入口
Scrapy的process_item方法没有内置路由机制，所有yield item都会被送到已启用的pipeline类的同一入口。你不能靠配置项让不同Item走不同类——除非显式启用多个pipeline并控制执行顺序或条件跳过。
常见错误是以为在settings.py里配了多个pipeline就自动分流，其实它们是串行执行的：每个item会依次经过PipelineA.process_item → PipelineB.process_item，除非中途被raise DropItem或返回None终止。
- 真正分流必须靠
isinstance(item, YourItemClass)判断 - 多个pipeline类可共存，但每个类内部仍需自己做类型判断
- 不判断就直接操作字段，大概率触发
KeyError或覆盖错数据
在pipeline中用isinstance区分Item类型最稳妥
Python的isinstance比检查item.__class__.__name__或type(item)更可靠，它能正确识别继承关系（比如自定义Item继承自scrapy.Item），且不受模块重载影响。
示例代码片段（pipelines.py）：
from myproject.items import ArticleItem, CommentItem, UserItem
<p>class MultiItemPipeline:
def process_item(self, item, spider):
if isinstance(item, ArticleItem):
item['title'] = item['title'].strip()
item['publish_time'] = self._parse_time(item.get('raw_time'))
elif isinstance(item, CommentItem):
item['content'] = self._clean_html(item.get('content', ''))
elif isinstance(item, UserItem):
if not item.get('avatar_url'):
item['avatar_url'] = 'default.png'
else:</p><h1>未识别的item，直接丢弃或记录警告</h1><pre class="brush:php;toolbar:false;"> raise DropItem(f"Unknown item type: {type(item).__name__}")
return item
- 务必导入所有可能用到的Item类，否则
isinstance会报NameError - 建议最后加一个
else分支处理未知类型，避免静默失败 - 不要在判断分支外写通用逻辑，容易污染非目标Item
Spider中yield前不做类型判断，但要确保yield的是实例而非字典
Scrapy要求yield的对象必须是scrapy.Item子类的实例，不能是普通dict。否则pipeline里的isinstance判断全部失效，且后续字段访问可能出错。
错误写法：
# ❌ 错误：返回dict，isinstance(item, ArticleItem)永远为False
yield {'title': 'xxx', 'url': 'yyy'}
正确写法：
# ✅ 正确：先实例化，再赋值，再yield
item = ArticleItem()
item['title'] = response.css('h1::text').get()
item['url'] = response.url
yield item
- 即使字段名相同，
ArticleItem()和CommentItem()是完全不同的类，类型判断不会混淆 - 如果解析逻辑复杂，可在Spider里封装工厂函数生成对应Item，但核心仍是“yield实例”
- 避免在Spider里用
isinstance分发——那会把业务逻辑耦合进爬虫，违背关注点分离
多个pipeline类比单个大if-elif更易维护，但要注意执行顺序
当Item类型超过3种、处理逻辑差异大时，拆成多个独立pipeline类更清晰。例如：ArticlePipeline只管文章清洗，CommentPipeline专注去重和敏感词过滤。
关键点在settings.py中的启用顺序：
ITEM_PIPELINES = {
'myproject.pipelines.ArticlePipeline': 200,
'myproject.pipelines.CommentPipeline': 300,
'myproject.pipelines.UserPipeline': 400,
}
- 数字越小优先级越高，先执行
ArticlePipeline - 每个类内部仍需用
isinstance守门，因为所有Item都会路过它 - 某pipeline处理完后return item，下一个pipeline才会收到；若它
raise DropItem，后续pipeline完全收不到该item - 不要依赖“只有ArticleItem会进ArticlePipeline”——必须每个类都做类型守门
最易被忽略的一点：pipeline类的process_item方法必须有明确的return语句。漏掉return或在某个分支里没return，Scrapy会认为该item被丢弃，后续pipeline收不到，日志里也不会报错，只会静默消失。
