クロール時に IP がブロックされる

この投稿は zzfkyo によって最終編集されました: 2013-11-24 22:36:33

最近、サイトのコンテンツをキャプチャする必要があり、IP アドレスがブロックされることがわかったので、それをキャプチャするために snoopy を使用しました。解決策は、ユーザー エージェントを Google スパイダーに置き換え、IP アドレスを偽造する (ただし、100 件以上クロールするたびにランダムな IP アドレスを変更する) ことでした。ページでは、IP が依然としてブロックされており、クロールできませんでした。何か良い解決策はありますか?

ディスカッション（解決策）への返信

アクセス頻度が高すぎるはずです。

訪問頻度が多すぎるのでしょう。 では、どうやって解決するのでしょうか? スリープすると、キャプチャするデータの量が膨大になります

そして、IP を偽造するためにスヌーピーを使用しました
これは騙されます。あなた..

はい偽IPですか？これ。 。 。

あまりにも早くあなたを捕まえてしまったので、あなたが誰であろうと気にしないので、あなたをブロックしました

そしてスヌーピーを使って IP を偽造しました

これはあなたを騙すためです... ああ、以上です