検索

ホームページ  >  に質問  >  本文

python - 爬虫抓取数据页一直返回HTTP code 417

同一份代码在本地测试请求数据页返回200,

但是在线上之前请求的步骤都可以成功请求到,到请求数据页这步一直返回417

用Advanced REST client在本地模拟这段请求也是可以通过的

查了一下原因,有可能是服务器被识别被封了,如果是这样请问如何解决?谢谢

黄舟黄舟2769日前609

全員に返信(2)返信します

  • 大家讲道理

    大家讲道理2017-04-17 16:48:03

    クローラーには 2 つの重要なポイントがあります。クロールの頻度を制御することと、クロールにプロキシを使用することです。目標は、持続的で効果的であることです。

    返事
    0
  • PHPz

    PHPz2017-04-17 16:48:03

    データの収集が多すぎるためにサーバーがブロックされている可能性があるため、HTTP プロキシのみを使用できます

    返事
    0
  • キャンセル返事