Rumah  >  Soal Jawab  >  teks badan

python - Gunakan scrapy untuk menulis crawler Selepas menghantar permintaan, pelayan semua mengembalikan 202 secara langsung.

Saya merangkak Rangkaian Dokumen Penghakiman Cina, dan sebelum ini saya menghantar permintaan, dan pelayan mengembalikan 200, dan kemudian saya memproses data dalam badan

Tetapi seminggu yang lalu, tiba-tiba semua permintaan kembali 202, dan kemudian badan respons juga kosong, dan tiada data boleh diperolehi sama sekali saya menyekat dan menunggu dalam fungsi panggil balik semasa (response.status == 202) dan juga tidur. tidak berjaya status tidak akan berubah

Apa yang perlu saya buat?

Saya menggunakan perkhidmatan proksi IP crwalera juga 202 untuk seketika sebelum ini, tetapi ia menjadi lebih baik selepas sehari, tetapi kali ini ia telah berlangsung selama seminggu, yang sangat pelik

.

Saya rasa tapak web sasaran mempunyai beban yang terlalu banyak, jadi saya menggunakan kaedah tak segerak untuk menghantar data, tetapi bagaimana saya menerima datanya dengan betul dalam scrapy

黄舟黄舟2669 hari yang lalu1597

membalas semua(2)saya akan balas

  • 欧阳克

    欧阳克2017-06-28 09:27:09

    Keadaan ini biasanya disebabkan oleh merangkak secara haram, dan pelayan telah melaksanakan sekatan anti-merangkak. Jika ia ditangkap secara sah, anda boleh berkomunikasi dengan jabatan kandungan untuk melihat sama ada terdapat sebarang kerosakan yang tidak disengajakan Jika ia ditangkap secara haram, adalah disyorkan untuk tidak melakukan ini Dalam kes yang serius, mungkin terdapat risiko pendakwaan

    balas
    0
  • 过去多啦不再A梦

    过去多啦不再A梦2017-06-28 09:27:09

    Jika anda telah dihalang daripada menuai, anda boleh cuba menukar alamat IP anda atau mencari celah untuk menghalang penuaian

    balas
    0
  • Batalbalas