使用 scrapy meta 传递参数

在 scrapy 中，itemparser 可以使用 meta 字典来传递参数，这允许我们将列表页抓取的信息与详情页抓取的信息合并到同一个 item 中。

使用HTML,CSS,JavaScript开发Android应用程序 英文文字pdf版附源文件

如果你了解HTML，CSS和JavaScript，您已经拥有所需的工具开发Android应用程序。本动手本书展示了如何使用这些开源web标准设计和建造，可适应任何Android设备的应用程序 - 无需使用Java。您将学习如何创建一个在您选择的平台的Andr​​oid友好的网络应用程序，然后转换与自由PhoneGap框架到一个原生的Andr​​oid应用程序。了解为什么设备无关的移动应用是未来的潮流，并开始构建应用程序，提供更

下载

具体步骤：

1. 在列表页 itemparser 中抓取标题、时间和 url：

def parse(self, response):
    # 获取列表页的标题、时间、url
    title = response.css("h1::text").get()
    time = response.css(".time::text").get()
    url = response.css("a::attr(href)").get()

    # 将列表页信息放入 meta 字典中
    meta = {
        "title": title,
        "time": time,
        "url": url
    }

    # 通过 request 回调给详情页 itemparser
    yield request(url, callback=self.parse_item, meta=meta)

2. 在详情页 itemparser 中抓取内容并合并列表页信息：

def parse_item(self, response):
    # 获取详情页的内容
    content = response.css(".content::text").get()

    # 从 meta 字典中获取列表页信息
    meta = response.meta
    title = meta["title"]
    time = meta["time"]
    url = meta["url"]

    # 创建 Item 并赋值
    item = Item()
    item["title"] = title
    item["time"] = time
    item["url"] = url
    item["content"] = content

    yield item

通过这种方式，我们可以在详情页 itemparser 中访问列表页抓取的信息，并将它们与详情页抓取的内容合并到同一个 item 中。