scrapy 的 itemloader 默认使用 takefirst 处理器，导致仅返回提取结果中的首个元素；本文详解如何通过修改 output_processor（如改用 join 或 identity）来完整保留并合并多段文本。
scrapy 的 itemloader 默认使用 takefirst 处理器，导致仅返回提取结果中的首个元素；本文详解如何通过修改 output_processor（如改用 join 或 identity）来完整保留并合并多段文本。
在 Scrapy 中，ItemLoader 的数据处理分为 input_processor（输入预处理）和 output_processor（输出后处理）两个阶段。你遇到的问题——ItemLoader 仅返回列表中第一个字符串（如 'A Long-term Study for Participants Previously Treated With'），而实际 XPath 提取结果是包含多个片段的列表 ['A Long-term...', 'Ciltacabtagene', 'Autoleucel']——根本原因在于 default_output_processor = TakeFirst()：该处理器会无条件截断，只取结果列表的首项。
要完整获取并拼接所有文本片段，推荐以下两种专业做法：
✅ 方案一：为特定字段单独指定输出处理器（推荐）
在 itemloaders.py 中，为 title 字段显式定义 title_out，使用 Join() 将列表元素以空格（或自定义分隔符）连接：
from itemloaders.processors import TakeFirst, MapCompose, Join
from scrapy.loader import ItemLoader
class DataLoader(ItemLoader):
default_output_processor = TakeFirst() # 全局默认仍为 TakeFirst，不影响其他字段
title_in = MapCompose(lambda x: x.strip() if isinstance(x, str) else x) # 可选：清洗空白
title_out = Join(separator=' ') # 关键：用空格连接所有提取项
此时，在 Spider 中调用：
loader = DataLoader(item=MyItem(), response=response)
loader.add_xpath('title', '//h1//text() | //div[@class="title"]//text()')
yield loader.load_item()
即可得到完整标题："A Long-term Study for Participants Previously Treated With Ciltacabtagene Autoleucel"。
✅ 方案二：全局替换为更灵活的处理器（谨慎使用）
若多数字段均需保留全部提取值，可将 default_output_processor 改为 Join() 或 Identity：
from itemloaders.processors import Identity, Join
# ...
class DataLoader(ItemLoader):
default_output_processor = Join(separator=' ') # 所有未显式定义 _out 的字段均被连接
# 或使用 Identity 保留原始列表：default_output_processor = Identity()
⚠️ 注意事项：
- Join() 默认用空字符串连接，建议显式指定 separator=' ' 避免单词粘连（如 "CiltacabtageneAutoleucel"）；
- 若需进一步清洗（如去重、过滤空字符串），可在 MapCompose 中叠加函数，例如：
title_in = MapCompose(lambda x: x.strip(), lambda x: x if x else None) title_out = Join(separator=' ')
- Identity 会原样返回列表，适用于后续需结构化处理（如存为数组字段）的场景，但不适用于直接生成单字符串标题。
总结：TakeFirst 是安全默认，但非万能；精准控制字段行为应优先使用
