首頁  >  文章  >  後端開發  >  python 爬蟲安裝什麼包

python 爬蟲安裝什麼包

silencement
silencement原創
2019-05-17 19:16:2810558瀏覽

學習Python網路爬蟲都需要安裝哪些函式庫?

python 爬蟲安裝什麼包

以下是Python爬蟲涉及的相關庫

#請求庫,解析庫,儲存庫,工具庫

1、請求庫:urllib/re/requests

(1) urllib/re是python預設自帶的函式庫,可以透過以下指令進行驗證:

python 爬蟲安裝什麼包

沒有報錯訊息輸出,表示環境正常

(2) requests安裝

#2.1 開啟CMD,輸入pip3 install requests

2.2 等待安裝後,驗證

python 爬蟲安裝什麼包

(3) selenium安裝(驅動瀏覽器進行網站存取行為)

3.1 開啟CMD,輸入 pip3 install selenium

#3.2 安裝chromedriver

網址:https://npm.taobao.org/

把下載完成後的壓縮包解壓縮,把exe放到D:\Python3.6.0 \Scripts\

這個路徑只要在PATH變數中就可以

3.3 等待安裝完成後,驗證

python 爬蟲安裝什麼包

回車後彈出chrome瀏覽器介面

3.4 安裝其他瀏覽器

#無介面瀏覽器phantomjs

下載網址:http://phantomjs.org/

#下載完成後解壓縮,把整個目錄放到D:\Python3.6.0\Scripts\,把bin目錄的路徑加到PATH變數

驗證:

開啟CMD

python 爬蟲安裝什麼包

#2. 解析函式庫:

2.1 lxml (XPATH)

開啟CMD輸入pip3 install lxml或從https://pypi.python.org下載,例如,lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下載whl文件,命令列執行pip3 install 檔案名稱.whl

2.2 beautifulsoup

開啟CMD,需要先安裝好lxml

pip3 install beautifulsoup4

python 爬蟲安裝什麼包

##2.3 pyquery(類似jquery語法)

CMD ,pip3 install pyquery

驗證安裝結果

python 爬蟲安裝什麼包

3. 儲存庫

3.1 pymysql(操作MySQL,關係型資料庫)

安裝:pip3 install pymysql,安裝後測試:

python 爬蟲安裝什麼包

3.2 pymongo(操作MongoDB,key-value)

#安裝 pip3 install pymongo


驗證

python 爬蟲安裝什麼包

3.3 redis(分散式爬蟲,維護爬取佇列) 安裝:pip3 install redis


#驗證:

python 爬蟲安裝什麼包

4.1Django(分散式爬蟲維護系統)pip3 install django


4.2jupyter(運行在網頁端的記事本,支援markdown ,可以在網頁上執行程式碼)安裝 pip3 install jupyter


#:開啟CMD,jupyter notebook

之後就可以在網頁直接建立記事本,程式碼區塊和Markdown區塊,支援列印

以上是python 爬蟲安裝什麼包的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn