python - 用scrapy寫爬蟲,發送請求後,伺服器全都直接返回202,該怎麼辦呢?
我爬取的是中國裁判文書網,之前還是好好的,我發送請求,伺服器返回200,然後我處理body中的資料
但是一個星期之前,突然所有的請求都返回202,然後response body裡也是空的,完全拿不到數據,我在回調函數中阻塞等待while(response.status == 202)就sleep也沒用,status並不會改變
該怎麼辦呢?
我使用了crwalera的ip代理服務,之前有段時間也是202,但是過了一天就好了,但這次已經持續了一個星期了,很奇怪
我覺得就是目標網站負載太大,所以採用異步的方式發送資料,但是我在scrapy裡有怎麼正確地收到他的資料呢?
