ホームページ  >  記事  >  バックエンド開発  >  Python クローラー: キーワードを通じて Baidu 画像をクロールします。

Python クローラー: キーワードを通じて Baidu 画像をクロールします。

高洛峰
高洛峰オリジナル
2017-02-20 10:06:372547ブラウズ

使用したツール: Python2.7

卑劣なフレームワーク

sublime text3

1つ。 Python のビルド (Windows 版)

1. python2.7 をインストールします --- 次に、cmd に python と入力します。インターフェースが以下のようであれば、インストールは成功です

Python クローラー: キーワードを通じて Baidu 画像をクロールします。

2. Scrapy フレームワークを統合します ---- と入力しますコマンドライン: pip install Scrapy

Python クローラー: キーワードを通じて Baidu 画像をクロールします。

成功したインストールインターフェイスは次のとおりです:

Python クローラー: キーワードを通じて Baidu 画像をクロールします。

失敗する状況はたくさんありますが、ここに例があります:

Python クローラー: キーワードを通じて Baidu 画像をクロールします。

解決策:

他のエラーも検索できます百度で。

2つ。プログラミングを始めます。

Python コードは次のとおりです:

Python クローラー: キーワードを通じて Baidu 画像をクロールします。

コードのコメント: 2 つのモジュール urllib,re が導入されています。 2 つの関数を定義します。1 つ目は、対象の Web ページ内の対象画像を取得し、Web ページを横断し、取得した画像を 0 からソートすることです。

注: モジュールに関する知識ポイント:

Python クローラー: キーワードを通じて Baidu 画像をクロールします。

クロールされた画像レンダリング:

Python クローラー: キーワードを通じて Baidu 画像をクロールします。

デフォルトの画像保存パスは、作成された .py ファイルと同じディレクトリ ファイルにあります。

2. クローラー対策で Baidu 画像をクロールします。百度写真など。

たとえば、キーワード検索「絵文字パッケージ」 https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gbk&word=%B1%ED%C7%E9%B0% FC&fr= ala&ori_query=%E8%A1%A8%E6%83%85%E5%8C%85&ala=0&alatpl=sp&pos=0&hs=2&xthttps=111111

写真はローリング方式でロードされ、優先度の最も高い 30 枚の写真は最初に這った。

コードは次のとおりです:

Python クローラー: キーワードを通じて Baidu 画像をクロールします。

コードのコメント: 4 つのモジュールをインポートし、os モジュールは保存パスの指定に使用されます。最初の 2 つの関数は上記と同じです。 3 番目の関数は、if ステートメントと tryException を使用します。

クロールのプロセスは次のとおりです:

Python クローラー: キーワードを通じて Baidu 画像をクロールします。

クロール結果:

Python クローラー: キーワードを通じて Baidu 画像をクロールします。

注: Python コードを記述するときは位置合わせに注意してください。エラーが発生しやすいため、タブとスペースを混在させることはできません。

その他の Python クローラー: キーワードによる Baidu 画像のクロールについては、PHP 中国語 Web サイトの関連記事に注目してください。

声明:
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。