python - scrapy merangkak lebih banyak halaman daripada memasukkan item?

Question

2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:
Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)

Mengapa saya melawati lebih banyak halaman daripada memasukkan item apabila saya menggunakan scrapy untuk merangkak
Cuma selepas merangkak untuk masa yang lama, tidak terdapat banyak data dalam item
Adakah ada cara untuk menyelesaikannya?

Answer 1

Dilencongkan, seperti yang anda lihat, ubah hala memerlukan dua halaman. Semak juga untuk melihat sama ada terdapat sebarang ralat penghuraian halaman.