cari

Rumah  >  Soal Jawab  >  teks badan

python - scrapy menangkap kandungan pendua tindak balas CNKI

Lintas url yang meminta halaman bertukar

for i in range(3):
    yield Request("http:xx/page/%s"%str(i),callback=self.parse_page)

Hasilnya ialah permintaan respons berjaya, tetapi kandungannya adalah sama setiap kali Ia adalah kandungan permintaan pertama Walau bagaimanapun, menggunakan Posman untuk meminta URL yang dinomborkan secara berasingan tidak mempunyai masalah ini. == Pernahkah anda diharamkan?

黄舟黄舟2748 hari yang lalu995

membalas semua(3)saya akan balas

  • 怪我咯

    怪我咯2017-06-30 09:57:07

    Maka kita perlu menganalisis perbezaan antara pengepala yang diminta semasa mengakses menggunakan posmen atau pelayar dan meminta pengepala menggunakan scrapy

    balas
    0
  • 三叔

    三叔2017-06-30 09:57:07

    Diiktiraf oleh anti-merangkak

    balas
    0
  • PHP中文网

    PHP中文网2017-06-30 09:57:07

    Lihat log yang dicetak oleh konsol untuk melihat sama ada halaman seterusnya telah dirangkak dengan betul
    2017-06-29 09:26:13 [scrapy] DEBUG: Dikikis daripada <200 http:xx/page/x>,
    Perhatikan sama ada x terakhir (http:xx/page/x) telah berubah

    balas
    0
  • Batalbalas