首頁  >  文章  >  後端開發  >  強大的爬蟲框架Scrapy是什麼?

強大的爬蟲框架Scrapy是什麼?

爱喝马黛茶的安东尼
爱喝马黛茶的安东尼轉載
2019-06-05 18:02:554153瀏覽

網路爬蟲(Web crawler),是一種按照一定的規則,自動地抓取萬維網資訊的程式或腳本,它們被廣泛用於網路搜尋引擎或其他類似網站,可以自動採集所有其能夠存取到的頁面,以獲取這些網站的內容。而Scrapy則是一種十分強大的爬蟲框架,而且它是用python寫的。下面我們來一起看看什麼是Scrapy?

強大的爬蟲框架Scrapy是什麼?

一、所需知識

需要的知識有: linux系統Python語言Scrapy框架XPath(XML路徑語言) 一些輔助工具(瀏覽器的開發者工具和XPath helper插件)。

我們的爬蟲是使用Python語言的Scrapy爬蟲框架開發,在linux上運行,所以需要熟練Python語言和Scrapy框架以及linux作業系統的基本知識。

我們需要使用XPath從目標HTML頁面中提取我們想要的東西,包括漢語文字段落和「下一頁」的連結等。

瀏覽器的開發者工具是編寫爬蟲主要使用的輔助工具。使用該工具可以分析頁面連結的規律,可以用來定位HTML頁面中想要提取的元素,然後提取其XPath表達式用於爬蟲程式碼中,還可以查看頁面請求頭的Referer、Cookie等資訊。如果爬取的目標是動態網站,該工具還可以分析出背後的JavaScript請求。

XPath helper插件是chrome的插件,基於chrome核心的瀏覽器也可以安裝。 XPath helper可以用來調試XPath表達式。

二、環境建置

安裝Scrapy可以使用pip指令:pip install Scrapy

Scrapy相關依賴較多,因此在安裝過程中可能遇到以下問題:

 ImportError: No module named w3lib.http

       解決:pip install w3lib

 ImportError: No module named twistedsted

# pip install twisted

 ImportError: No module named lxml.HTML

         解決:pip install lxml

 error: libxml#/xmlversion.fileh: No.

         解決:apt-get install libxml2-dev libxslt-dev  

              解決:pip install cssselect

 ImportError: No module named OpenSSL

         解決:pip install pyOpenSSL 

 

強大的爬蟲框架Scrapy是什麼?

#使用簡單的方法:使用anaconda安裝。

三、Scrapy框架

1. Scrapy簡介

Scrapy是大名鼎鼎的爬蟲框架,是使用Python寫的。 Scrapy可以很方便的進行web抓取,也可以很方便的依照自己的需求進行客製化。

Scrapy整體架構大致如下:

2.Scrapy元件

#Scrapy主要包含了以下元件:

引擎(Scrapy)

用來處理整個系統的資料流,觸發交易(框架核心)。

調度器(Scheduler)

用來接受引擎發過來的請求,壓入隊列中, 並在引擎再次請求的時候返回. 可以想像成一個URL(抓取網頁的網址或連結)的優先佇列, 由它來決定下一個要抓取的網址是什麼, 同時去除重複的網址。

######下載器(Downloader)#########用於下載網頁內容, 並將網頁內容回傳給蜘蛛(Scrapy下載器是建立在twisted這個高效的非同步模型上的) 。 #########爬蟲(Spiders)#########爬蟲是主要幹活的, 用於從特定的網頁中提取自己需要的資訊, 即所謂的實體(Item)。用戶也可以從中提取出連結,讓Scrapy繼續抓取下一個頁面。 #########專案管道(Pipeline)#########負責處理爬蟲從網頁中抽取的實體,主要的功能是持久化實體、驗證實體的有效性、清除不需要的訊息。當頁面被爬蟲解析後,將被傳送到專案管道,並經過幾個特定的順序處理資料。 #########下載器中間件(Downloader Middlewares)#########位於Scrapy引擎和下載器之間的框架,主要是處理Scrapy引擎與下載器之間的請求及響應。 #########爬蟲中間件(Spider Middlewares)#########介於Scrapy引擎和爬蟲之間的框架,主要工作是處理蜘蛛的回應輸入和請求輸出。 #########調度中間件(Scheduler Middewares)######

介於Scrapy引擎和調度之間的中間件,從Scrapy引擎發送到調度的請求和回應。

Scrapy運作流程:

1.引擎從調度器中取出一個連結(URL)用於接下來的抓取

#2.引擎把URL封裝成一個請求(Request)傳給下載器

3.下載器把資源下載下來,並封裝成應答包(Response)

4.爬蟲解析Response

5.解析出實體(Item),則交給實體管道進行進一步的處理

6.解析出的是連結(URL),則把URL交給調度器等待抓取

以上是強大的爬蟲框架Scrapy是什麼?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:csdn.net。如有侵權,請聯絡admin@php.cn刪除
上一篇:python定義函數下一篇:python定義函數