今日クロールした Web ページで情報が更新されましたが、クローラーは実行されましたが、クロールされませんでした。
リーリー
上司がもっと具体的に、もっと意見交換できるといいですね
迷茫2017-05-18 11:00:50
on_start の @every は 1 日なので、self.crawl に age=12 * 60 * 60
半天是比较合适的,保证每次 every 肯定不会被 age 所限制。另外 @config(age=10 * 24 * 60 * 60)
を設定します。これは、10 日以内に再度クロールしないことを意味します。