Python クローラーにはどのライブラリをインストールする必要がありますか?

Python Web クローラーを学習するにはどのライブラリをインストールする必要がありますか?

#Python クローラーに関連する関連ライブラリは次のとおりです。

リクエスト ライブラリ、解析ライブラリ、ストレージ ライブラリ、ツール ライブラリ

1. リクエスト ライブラリ: urllib/re/requests

(1) urllib/re は Python にデフォルトで付属するライブラリで、次のコマンドで確認できます。

##エラー メッセージは出力されず、環境が正常であることを示します

(2) インストールのリクエスト

2.1 CMD を開き、pip3 インストール リクエストを入力します。

2.2 インストールを待った後、検証します

(3) Selenium のインストール (Web サイトへのアクセス動作のためのブラウザの駆動)

3.1 CMD を開いて pip3 install selenium と入力します

3.2 chromedriver をインストールします

Web サイト: https://npm.taabao.org/

ダウンロードした圧縮ファイルを解凍しますパッケージを作成し、exe を D:\ Python3.6.0\Scripts\

に配置します。このパスは PATH 変数に含める必要があるだけです。

3.3 インストールが完了したら、

## を確認します。

#戻る 車の後に Chrome ブラウザ インターフェイスが表示されます。

3.4 他のブラウザをインストールします

インターフェイスレス ブラウザ phantomjs

ダウンロード URL: http: //phantomjs.org/

ダウンロード後、解凍し、ディレクトリ全体を D:\Python3.6.0\Scripts\ に置き、bin ディレクトリへのパスを PATH 変数に追加します

検証:

Open CMD

2. 解析ライブラリ:

2.1 lxml (XPATH)

Open CMD 「pip3 install lxml」と入力するか、https://pypi.python.org download (例: lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5)) からダウンロードし、最初に whl ファイルをダウンロードして、pip3 install を実行します。ファイル名.whl

##2.2 beautifulsoup

CMDを開くには、最初にlxmlをインストールする必要があります

pip3 install beautifulsoup4

2.3 pyquery (jquery 構文に似ています)

CMD を開き、pip3 install pyquery

インストール結果を確認します

3. リポジトリ

3.1 pymysql (MySQL、リレーショナル データベースを実行)

インストール: pip3 pymysql をインストール、インストール後のテスト:

##3.2 pymongo (MongoDB の操作、キーと値)

pip3 のインストール install pymongo

Verification

3.3 redis (分散クローラ、クローリング キューの維持) インストール: pip3 install redis

検証:

4.1Django (分散クローラ メンテナンス システム) pip3 install django

4.2jupyter (Web ページ上で実行されるメモ帳、マークダウンをサポートし、Web ページ上でコードを実行できます) pip3 をインストールします jupyter をインストールします

検証: CMD を開きます。 jupyter Notebook

を使用すると、メモ帳、コード ブロック、Markdown ブロックを作成でき、印刷をサポートします

以上がPython クローラーにはどのライブラリをインストールする必要がありますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。