首頁  >  問答  >  主體

javascript - superagent爬取網站出現重定向問題

superagent爬網頁,遇到重定向,拿不到重定向後的回應體,該如何解決,如何取得重定向後的網頁

我想取得501頁的res,但他跳到37018頁面,導致我拿到501頁的空白res。

測試了爬取不到的網頁,發現有2種狀況

  1. #一開始進入網頁回應碼是200,過一小會刷新變成304

  2. #一進入回應碼從301重定向到200,過一小會刷新變成304

測試了能爬取到的網頁,發現有2種狀況

  1. 一進入回應碼從301重定向到200,過一小會刷新變成304

  2. 一開始進入網頁回應碼是200,過一小會刷新變成304

#啊,我擦,那就沒什麼差別啦,小白不知道這跟我爬不到內容有沒有關係,orz

再補充

#問題不在重定向,而是在於我的正規表示式匹配問題

迷茫迷茫2672 天前771

全部回覆(1)我來回復

  • 淡淡烟草味

    淡淡烟草味2017-05-31 10:40:19

    你都不看官方文件的嗎?

    • Following redirects

    By default up to 5 redirects will be followed, however you may specify
    this with the res.redirects(n) method:

    request
      .get('/some.png')
      .redirects(2)
      .end(callback);

    回覆
    0
  • 取消回覆