scrapy を使用して Himalaya をクロールし、PC アドレスをクロールします。エントリ リンクの応答は問題ありませんが、その後の応答にはモバイル アドレスが表示されます。 。 。 。
スパイダーコードは次のとおりです:
リーリーコンソール出力:
middlewares.RotateUserAgentMiddleware を書きましたが、これは効果的で、出力内容も確認できます。
クロール防止メカニズムが作動しているのでしょうか?
欧阳克2017-06-30 09:57:13
リクエストヘッダーを慎重に設定してください。通常、モバイル端末かどうかの判断はユーザーエージェントに依存します
何もせずにデータにアクセスできますが、これはターゲット Web サイトがホットリンク対策にあまり注意を払っていないことも示しています
