JavaScript - スーパーエージェントが Web サイトをクロールするときのリダイレクトの問題

Question

Use superagent を使用して Web ページをクロールします。リダイレクトが発生すると、リダイレクト後の応答本文を取得できません。問題の解決方法とリダイレクトされた Web ページの取得方法

501 ページの解像度を取得したいのですが、ページ 37018 にジャンプしてしまい、501 ページの空の解像度を取得することになります。

クロールできない Web ページをテストしたところ、2 つの状況が見つかりました

1. Web ページに入ったときの応答コードは、最初は 200 ですが、しばらくすると 304

に更新されます。

2. 応答コードは入力時に 301 から 200 にリダイレクトされ、しばらくすると 304 に更新されます

クロール可能な Web ページをテストしたところ、2 つの状況が見つかりました

1. 応答コードは入力時に 301 から 200 にリダイレクトされ、しばらくすると 304 に更新されます

2. Web ページに入ったときの応答コードは、最初は 200 ですが、しばらくすると 304

に更新されます。

ああ、消去しましょう。そうすれば何も変わりません。これがコンテンツをクロールできないことと関係があるのか​​わかりません。orz

＃＃＃＃＃＃さらに追加＃＃＃＃＃＃

問題はリダイレクトではなく、正規表現の一致の問題です

Answer 1

公式ドキュメントも読まないのですか？

• リダイレクトをフォローしています

デフォルトでは、最大 5 つのリダイレクトが追跡されますが、
メソッドでこれを指定することもできます:res.redirects(n) リーリー