python - Gunakan rangka kerja buruk untuk merangkak gambar Baidu dan disekat

Question

URL alamat permintaan ialah alamat json yang diperoleh melalui firefox Ia boleh dibuka dengan penyemak imbas, tetapi ia dilarang apabila merangkak dengan scrapy.

https://image.baidu.com/searc...

Answer 1

Cubalah di settings.py 将 ROBOTSTXT_OBEY = False.

Answer 2

Cuba tanpa mendengar

Answer 3

Saya setuju dengan tingkat atas, jika masih ada dinding. Kaedah scrapy+selenium+phantomjs boleh digunakan.