検索

ホームページ  >  に質問  >  本文

Python + Selenium + chromedriver を使用してインターフェイスレス クロールを実装する方法

Selenium を使用して 12306 をクロールする過程で、phantomjs はクロールに使用できず、chromedriver は使用できることがわかりました。phantomjs が Web サイトによって検出され、禁止されているはずです。chromedriver を使用すると、インターフェイスが再度表示されます。クローリング効率も低いです。
ここで 2 つの質問があります。長い間 Google で検索していましたが、効果的な解決策が見つかりませんでした。
1. phantomjs を可能な限り偽装する方法
2. chromedriver のセットアップ方法インターフェイスを表示しないようにするか、クロール効率を向上させる他の方法はありますか? ###ありがたい! ! !

迷茫迷茫2755日前883

全員に返信(2)返信します

  • PHP中文网

    PHP中文网2017-05-18 10:55:13

    PyVirtualDisplay を通じてニーズを実現できます。コードは次のようになります。

    リーリー

    phantomjsのヘッダー情報を変更していれば渡せます

    リーリー

    このメソッドはphantomjsのヘッダー情報を変更することもできます

    返事
    0
  • 世界只因有你

    世界只因有你2017-05-18 10:55:13

    Seleniumをヘッドレスモードで実行するには私の記事を参照してください

    返事
    0
  • キャンセル返事