python - Gunakan scrapy untuk menulis crawler Selepas menghantar permintaan, pelayan semua mengembalikan 202 secara langsung.

Question

Saya merangkak Rangkaian Dokumen Penghakiman Cina, dan sebelum ini saya menghantar permintaan, dan pelayan mengembalikan 200, dan kemudian saya memproses data dalam badan

Tetapi seminggu yang lalu, tiba-tiba semua permintaan kembali 202, dan kemudian badan respons juga kosong, dan tiada data boleh diperolehi sama sekali saya menyekat dan menunggu dalam fungsi panggil balik semasa (response.status == 202) dan juga tidur. tidak berjaya status tidak akan berubah

Apa yang perlu saya buat?

Saya menggunakan perkhidmatan proksi IP crwalera juga 202 untuk seketika sebelum ini, tetapi ia menjadi lebih baik selepas sehari, tetapi kali ini ia telah berlangsung selama seminggu, yang sangat pelik

.

Saya rasa tapak web sasaran mempunyai beban yang terlalu banyak, jadi saya menggunakan kaedah tak segerak untuk menghantar data, tetapi bagaimana saya menerima datanya dengan betul dalam scrapy

Answer 1

Keadaan ini biasanya disebabkan oleh merangkak secara haram, dan pelayan telah melaksanakan sekatan anti-merangkak. Jika ia ditangkap secara sah, anda boleh berkomunikasi dengan jabatan kandungan untuk melihat sama ada terdapat sebarang kerosakan yang tidak disengajakan Jika ia ditangkap secara haram, adalah disyorkan untuk tidak melakukan ini Dalam kes yang serius, mungkin terdapat risiko pendakwaan

Answer 2

Jika anda telah dihalang daripada menuai, anda boleh cuba menukar alamat IP anda atau mencari celah untuk menghalang penuaian