python - Bagaimana untuk menggabungkan data daripada dua halaman berbeza dalam scrapy dan menyimpannya bersama-sama

Question

1 Sebagai contoh, terdapat halaman senarai blog a, untuk mendapatkan senarai artikel
2 Halaman butiran kandungan blog b, untuk mendapatkan teks artikel
3 Bagaimana untuk mendapatkan artikel + kandungan ke pangkalan data mengikut urutan
4 Semasa? Masalahnya ialah saya tidak tahu bagaimana untuk menggabungkan dua halaman yang berbeza

Answer 1

Anda boleh menggunakan request.meta untuk menyimpan maklumat tambahan, seperti

def parse_x1(self, response):
    extra = {}
    ...
    req = scrapy.Request(url2)
    req.callback = self.parse_x2
    ...
    req.meta['extra'] = extra 
    yield req
 
def parse_x2(self, response):
    item = {}
    extra = response.meta['extra']
    item.update(extra)
    ...
    
    yield item