使用したツール: Python2.7
卑劣なフレームワーク
sublime text3
1つ。 Python のビルド (Windows 版)
1. python2.7 をインストールします --- 次に、cmd に python と入力します。インターフェースが以下のようであれば、インストールは成功です
2. Scrapy フレームワークを統合します ---- と入力しますコマンドライン: pip install Scrapy
成功したインストールインターフェイスは次のとおりです:
失敗する状況はたくさんありますが、ここに例があります:
解決策:
他のエラーも検索できます百度で。
2つ。プログラミングを始めます。
Python コードは次のとおりです:
コードのコメント: 2 つのモジュール urllib,re が導入されています。 2 つの関数を定義します。1 つ目は、対象の Web ページ内の対象画像を取得し、Web ページを横断し、取得した画像を 0 からソートすることです。
注: モジュールに関する知識ポイント:
クロールされた画像レンダリング:
デフォルトの画像保存パスは、作成された .py ファイルと同じディレクトリ ファイルにあります。
2. クローラー対策で Baidu 画像をクロールします。百度写真など。
たとえば、キーワード検索「絵文字パッケージ」 https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gbk&word=%B1%ED%C7%E9%B0% FC&fr= ala&ori_query=%E8%A1%A8%E6%83%85%E5%8C%85&ala=0&alatpl=sp&pos=0&hs=2&xthttps=111111
写真はローリング方式でロードされ、優先度の最も高い 30 枚の写真は最初に這った。
コードは次のとおりです:
コードのコメント: 4 つのモジュールをインポートし、os モジュールは保存パスの指定に使用されます。最初の 2 つの関数は上記と同じです。 3 番目の関数は、if ステートメントと tryException を使用します。
クロールのプロセスは次のとおりです:
クロール結果:
注: Python コードを記述するときは位置合わせに注意してください。エラーが発生しやすいため、タブとスペースを混在させることはできません。
その他の Python クローラー: キーワードによる Baidu 画像のクロールについては、PHP 中国語 Web サイトの関連記事に注目してください。