Python寫爬蟲用到什麼函式庫

Python爬蟲，全名為Python網路爬蟲，是一種依照一定的規則，自動抓取萬維網資訊的程式或腳本，主要用於抓取證券交易資料、天氣數據、網站用戶資料和圖片資料等，Python為支援網路爬蟲正常功能實現，內建了大量的庫，主要有幾種類型。下面本篇文章就來跟大家介紹。

一、Python爬蟲網庫

Python爬蟲網庫主要包括：urllib、requests、grab、pycurl、urllib3、httplib2、RoboBrowser、MechanicalSoup、mechanize、socket、Unirest for Python、hyper 、PySocks、treq以及aiohttp等。

二、Python網路爬蟲框架

Python網路爬蟲框架主要包括：grab、scrapy、pyspider、cola、portia、restkit以及demiurge等。

三、HTML/XML解析器 

●　lxml：C語言編寫高效能HTML/ XML處理庫。支援XPath。

●　cssselect：解析DOM樹和CSS選擇器。

●　pyquery：解析DOM樹和jQuery選擇器。

●　BeautifulSoup：低效HTML/ XML處理庫，純Python實作。

●　html5lib：根據WHATWG規範產生HTML/ XML文檔的DOM。這個規範被用在現在所有的瀏覽器上。

●　feedparser：解析RSS/ATOM feeds。

●　MarkupSafe：為XML/HTML/XHTML提供了安全轉義的字串。

●　xmltodict：一個可以讓你在處理XML時感覺像在處理JSON一樣的Python模組。

●　xhtml2pdf：將HTML/CSS轉換為PDF。

●　untangle：輕鬆實現將XML檔案轉換為Python物件。

四、文字處理

用於解析、操作簡單文字的函式庫。

●　difflib：（Python標準函式庫）幫助進行差異化比較。

●　Levenshtein：快速計算Levenshtein距離和字串相似度。

●　fuzzywuzzy：模糊字串匹配。

●　esmre：正規表示式加速器。

●　ftfy：自動整理Unicode文本，減少碎片化。

五、特定格式檔案處理

解析和處理特定文字格式的函式庫。

●　tablib：一個把資料匯出為XLS、CSV、JSON、YAML等格式的模組。

●　textract：從各種文件中提取文本，例如 Word、PowerPoint、PDF等。

●　messytables：解析混亂的表格資料的工具。

●　rows：一個常用資料接口，支援的格式很多（目前支援CSV，HTML，XLS，TXT：將來還會提供更多！）。

以上是Python寫爬蟲用到什麼函式庫的詳細內容。更多資訊請關注PHP中文網其他相關文章！