検索

ホームページ  >  に質問  >  本文

python - 关于 scrapy 的 pipeline 和 items 问题

能不能实现这种:

  1. aItem的数据由aPipeline处理

  2. bItem的数据由bPipeline处理

PHP中文网PHP中文网2826日前558

全員に返信(3)返信します

  • 天蓬老师

    天蓬老师2017-04-18 09:51:55

    これが目的ですか?
    たとえば、items.py には次の項目があります

    その後、pipelines.py の process_item 関数で次のことができます

    このようにして、異なるデータを個別に処理できます。

    返事
    0
  • 天蓬老师

    天蓬老师2017-04-18 09:51:55

    パイプライン内の結果がどのクローラーであるかを判断できます:

    リーリー

    1 つのプロジェクト内にこの種の複数のクローラがある場合、異なるクローラはパイプライン内で異なるロジックを使用する必要があると、scrapy の作者は説明しました。
    行って見てください

    返事
    0
  • PHP中文网

    PHP中文网2017-04-18 09:51:55

    はい、パイプラインの process_item にはスパイダー パラメーターがあり、このパイプラインを使用するために対応するスパイダーをフィルターできます

    返事
    0
  • キャンセル返事