検索

ホームページ  >  に質問  >  本文

node.js - Node クローラーによる小説のクローリングに関する質問

リーリー

以下は私がリクエストしたコードです。別のjsで特定の章のリストを取得し、それをjsonで直接リクエストしました。 リーリー

しばらく登ってもこのまま止まり、設定したタイムアウトなども反応なし。
巴扎黑巴扎黑2752日前612

全員に返信(1)返信します

  • 漂亮男人

    漂亮男人2017-05-16 13:40:49

    私は過去 2 日間この問題に対処してきました。最初は同期リクエストの問題だと思いましたが、別のものに変更しましたが、状況は変わりませんでした。おそらく IP Web サイトがブロックされているのではないかと思いました。その後、昼食中に同僚とチャットしていて、おそらくこれが問題だと言われました。この場合、無料のプロキシ IP をいくつか取得し、リクエスト時に、リクエストがタイムアウトするかエラーが報告される限り、すぐに IP アドレスに切り替えてリクエストを実行します。こうして、昨日は大きな小説を登ってきましたが、今日出勤してみたら、全部下りきっていて、問題ありませんでした(笑)。ただし、多くの無料プロキシ IP は使用できないため、時間の一部がこれに無駄になります。では、複数の本をクロールする方法を見てみましょう↖(^ω^)↗

    返事
    0
  • キャンセル返事