クローラー技術は https をクロールできますか?

クローラー テクノロジーは https をクロールできますか?

まず、https とは何かを理解しましょう。

https とは HTTP SSL のことです。つまり、前の平文をHTTPの通信方式に基づいて暗号化して送信するため、情報の暗号化方式と秘密鍵を決定して送信するため、送信中に盗まれたり、偽造されたりしても、情報が漏洩することはありません。

クローラーの本質は、ブラウザーのふりをしてサーバーにリクエストを送信し、プロセス全体に参加することです。そのため、https リンクもクロールできますが、その前提となるのは、偽造されたクライアントが正しいSSL証明書。

エラーの原因を見つける

クローラの実行中に SSL エラーが表示される場合、通常、ローカル証明書または関連する SSL ライブラリが正しくインストールされておらず、サーバーが

証明書例外の問題の解決

CA 証明書の問題については、次の集中ソリューションを参照できます。

##1. CA 証明書を検証せず、セキュリティ警告を無視します

coding=utf-8import requests# 不验证CA证书则需要忽略安全警告方式一：import urllib3urllib3.disable_warnings()方式二：from requests.packages.urllib3.exceptions import InsecureRequestWarningrequests.packages.urllib3.disable_warnings(InsecureRequestWarning)r=requests.get(url=“https://www.baidu.com/”,verify=False)print r.elapsed.total_seconds()

2. 証明書の場所または証明書が含まれるフォルダーを指定します (このフォルダーは OpenSSL ツールによって作成されます)

リーリー

以上がクローラー技術は https をクロールできますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。