検索

ホームページ  >  に質問  >  本文

Python - データを更新した後、Web ページを再度クロールできません

今日クロールした Web ページで情報が更新されましたが、クローラーは実行されましたが、クロールされませんでした。

リーリー

上司がもっと具体的に、もっと意見交換できるといいですね

给我你的怀抱给我你的怀抱2805日前631

全員に返信(2)返信します

  • 我想大声告诉你

    我想大声告诉你2017-05-18 11:00:50

    @config (age) パラメーターの設定は、index.page の実​​行を直接無視します

    返事
    0
  • 迷茫

    迷茫2017-05-18 11:00:50

    on_start の @every は 1 日なので、self.crawl に age=12 * 60 * 60 半天是比较合适的,保证每次 every 肯定不会被 age 所限制。另外 @config(age=10 * 24 * 60 * 60) を設定します。これは、10 日以内に再度クロールしないことを意味します。

    返事
    0
  • キャンセル返事