問題はこれです。ノードの学習を始めたばかりです。もちろん、これは明らかにクローラー用です。それで、最近小説を読んでいたのですが、無料小説サイトでは広告が多すぎるので、小説全体をクロールするクローラーを書こうと思ったのですが、URL リクエストが多すぎて逆になってしまいました。 -クロールされてブロックされました。回避するためにリクエスト間隔を長くしてみましたが、効果はありませんでした。IP アドレスを変更して回避できることを偶然発見しました。しかし、Baidu ではこの領域のリソースが少なすぎます。 , そこで専門家に質問するためにここに来ました。何かご存知のことがあれば、共有していただけます。ちょっとの間、ありがとう、神様。
強調しておきますが、問題は、アンチクライミングを回避するためにノード IP を変更する方法です。
使用されるフレームワークには、superagent、cherio、async が含まれます...神様、ありがとう。
コード:
偉大な神を待っています
高洛峰2017-06-05 11:15:33
アンチクロールとは、制御プログラムが 1 つの IP アドレスを使用して同じ Web サイトを非常に速い頻度で複数回クロールできないことを意味します。IP プールがあるため、プログラムは複数の IP を使用してリクエストを開始できます。この場合、プログラムが使用する IP を定期的に変更します。たとえば、クロールの頻度に応じて、30 分、またはそれ以上の間隔で、時間が経過したら、IP を変更します。クローラー プログラムの IP は次のリンクです。ノード エージェント、おそらく役立つでしょう/q/10...
