Python クローラーのリクエスト ヘッダーを設定する方法

Web クローリングを要求すると、出力されるテキスト情報に「申し訳ありませんが、アクセスできません」などの文字が表示され、クローリングが禁止されていることを意味します。この問題は、クローリング防止メカニズムによって解決する必要があります。

ヘッダーはリクエストのクローリング防止の問題を解決する方法の 1 つであり、この Web ページのサーバー自体に入り込んでデータをクローリングしているふりをするのと同じです。

クローラー対策 Web ページの場合、Web サイトにアクセスするブラウザーをシミュレートするヘッダー情報を設定できます。

headers

Google または Firefox ブラウザで、Web ページをクリックします。右クリック – [検査] をクリックし、[その他のツール] – [開発] をクリックするか、ツール; F12 を直接押すこともできます。次に、Fn F5 を押して Web ページを更新し、要素を表示します。

一部のブラウザでは、クリック: 右クリック -> 要素の表示、更新

関連する推奨事項: 「Python ビデオ チュートリアル##」 #>>

注: ヘッダーには多くの内容が含まれていますが、一般的に使用される主なものはユーザー エージェントとホストであり、キー ペアの形式で表示されます。 -agent is 辞書のキー ペア フォームがヘッダーのコンテンツとして使用されている場合、逆クロールは成功する可能性があり、他のキー ペアは必要ありません。それ以外の場合は、ヘッダーの下にさらにキー ペア フォームを追加する必要があります。

設定

import urllib2
import urllib
values={"username":"xxxx","password":"xxxxx"}
data=urllib.urlencode(values)
url= "https://ssl.gstatic.com/gb/images/v2_730ffe61.png"
user_agent="Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"
referer='http://www.google.com/'
headers={"User-Agent":user_agent,'Referer':referer}
request=urllib2.Request(url,data,headers)
response=urllib2.urlopen(request)
print response.read()

以上がPython クローラーのリクエスト ヘッダーを設定する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。