Selenium を使用して 12306 をクロールする過程で、phantomjs はクロールに使用できず、chromedriver は使用できることがわかりました。phantomjs が Web サイトによって検出され、禁止されているはずです。chromedriver を使用すると、インターフェイスが再度表示されます。クローリング効率も低いです。
ここで 2 つの質問があります。長い間 Google で検索していましたが、効果的な解決策が見つかりませんでした。
1. phantomjs を可能な限り偽装する方法
2. chromedriver のセットアップ方法インターフェイスを表示しないようにするか、クロール効率を向上させる他の方法はありますか?
###ありがたい! ! !
PHP中文网2017-05-18 10:55:13
PyVirtualDisplay を通じてニーズを実現できます。コードは次のようになります。
リーリーphantomjsのヘッダー情報を変更していれば渡せます
リーリーこのメソッドはphantomjsのヘッダー情報を変更することもできます