ホームページ  >  に質問  >  本文

Web クローラー - Python のrequests.get クローラーセットのプロキシ IP アドレスは変更されていません

このジョブには Amazon 上の情報をクローリングする必要がありますが、Amazon のアンチクローラーが強力すぎるため、同じ IP アドレスはブロックされます。
Python バージョン: 3.6、IDE: Pycharm 2017.1
ネットでいろいろ調べたり、リクエストライブラリのマニュアルを読んだりしましたが、どれも同じ方法で、コードは次のとおりです。 リーリー

私が読んだ多くのチュートリアルの理論によれば、プロキシが正常に設定されていれば、最後に表示された IP はプロキシの IP アドレスになるはずですが、最終的には実際の IP アドレスのままになります。これはプロキシが設定されていないということでしょうか?

typechotypecho2707日前1188

全員に返信(1)返信します

  • 阿神

    阿神2017-06-12 09:26:11

    プロキシは、http にアクセスする場合は http 設定を使用し、https にアクセスする場合は https 設定を使用します
    したがって、プロキシを有効にするには、http と https の両方の設定が含まれている必要があります

    リーリー

    返事
    0
  • キャンセル返事