Python クローラーにはどのようなパッケージをインストールする必要がありますか?

Python Web クローラーを学習するにはどのライブラリをインストールする必要がありますか?

#Python クローラーに関連する関連ライブラリは次のとおりです

リクエスト ライブラリ、解析ライブラリ、ストレージ ライブラリ、ツール ライブラリ

1. リクエストライブラリ: urllib/re/requests

(1) urllib/re は Python にデフォルトで付属するライブラリで、次のコマンドで確認できます。

##エラーメッセージは出力されず、環境が正常であることを示します

(2) インストールのリクエスト

2.1 CMD を開き、pip3 インストールリクエストを入力します

2.2 インストールを待ち、検証

(3) Selenium のインストール (Web サイトへのアクセス動作のためにブラウザを駆動する)

3.1 CMD を開く「pip3 install selenium」と入力します

3.2 chromedriverをインストールします

#ウェブサイト: https://npm.taabao.org/

ダウンロードした圧縮パッケージを解凍し、exeファイルを置きますD:\Python3.6.0 \Scripts\

このパスは PATH 変数内にのみ必要です

3.3 インストールが完了するまで待ち、確認します

# そして Enter を押して、Chrome ブラウザ インターフェイスをポップアップ表示します。

3.4 他のブラウザをインストールします

インターフェイスレス ブラウザ phantomjs

ダウンロード URL: http://phantomjs。 org/

ダウンロード 完了したら解凍し、ディレクトリ全体を D:\Python3.6.0\Scripts\ に置き、bin ディレクトリへのパスを PATH 変数に追加します。

検証:

CMD を開きます

2. 解析ライブラリ:

2.1 lxml (XPATH)

CMD を開いて pip3 と入力します。 lxml をインストールするか、https://pypi.python.org からダウンロードします。たとえば、lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) の場合は、まず whl ファイルをダウンロードし、コマンド ラインで pip3 install を実行します。ファイル名.whl

2.2 beautifulsoup

CMD を開くには、最初に lxml をインストールする必要があります

pip3 install beautifulsoup4

2.3 pyquery (jquery 構文に似ています)

CMD を開き、pip3 install pyquery

インストール結果を確認します

3. リポジトリ

3.1 pymysql (MySQL、リレーショナル データベースの操作)

インストール: pip3 pymysql をインストール、インストール後のテスト:

3.2 pymongo (MongoDB の操作、キーと値)

インストール pip3 install pymongo

#検証

#3.3 redis (分散クローラー、クローリング キューの維持) インストール: pip3 install redis

検証:

4.1Django (分散クローラー メンテナンス システム) pip3 install django

4.2jupyter (Web ページ上で実行されるメモ帳、マークダウンをサポート、Web ページ上でコードを実行できます) pip3 のインストール jupyter のインストール

検証: CMD を開く、jupyter ノートブック

そして、メモ帳、コード ブロック、マークダウン ブロックを Web ページ上で直接作成できます。印刷をサポートします

以上がPython クローラーにはどのようなパッケージをインストールする必要がありますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。