JavaScript - スーパーエージェントが Web サイトをクロールするときのリダイレクトの問題
Use superagent を使用して Web ページをクロールします。リダイレクトが発生すると、リダイレクト後の応答本文を取得できません。問題の解決方法とリダイレクトされた Web ページの取得方法
501 ページの解像度を取得したいのですが、ページ 37018 にジャンプしてしまい、501 ページの空の解像度を取得することになります。
クロールできない Web ページをテストしたところ、2 つの状況が見つかりました
Web ページに入ったときの応答コードは、最初は 200 ですが、しばらくすると 304
に更新されます。
応答コードは入力時に 301 から 200 にリダイレクトされ、しばらくすると 304 に更新されます
クロール可能な Web ページをテストしたところ、2 つの状況が見つかりました
応答コードは入力時に 301 から 200 にリダイレクトされ、しばらくすると 304 に更新されます
Web ページに入ったときの応答コードは、最初は 200 ですが、しばらくすると 304
に更新されます。
ああ、消去しましょう。そうすれば何も変わりません。これがコンテンツをクロールできないことと関係があるのかわかりません。orz
＃＃＃＃＃＃さらに追加＃＃＃＃＃＃問題はリダイレクトではなく、正規表現の一致の問題です
