爬蟲的工作原理

1. 爬蟲的工作原理

#　　網路爬蟲，即Web Spider，是一個很形象的名字。把網路比喻成蜘蛛網，那麼Spider就是在網路上爬來爬去的蜘蛛。網路蜘蛛是透過網頁的連結位址來尋找網頁的。從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，

然後通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓完為止。如果把整個網路當成一個網站，那麼網路蜘蛛就可以用這個原理把網路上所有的網頁都抓取下來。這樣看來，網路爬蟲就是一個爬行程序，一個抓取網頁的程式。網

絡爬蟲的基本操作是抓取網頁。那麼如何才能隨心所欲地獲得自己想要的頁面呢？先從URL開始。

　　

　　抓取網頁的過程其實和讀者平時使用IE瀏覽器瀏覽網頁的道理是一樣的。比方說你在瀏覽器的網址列輸入    www.baidu.com    這個位址。打開網頁的過程其實就是瀏覽器作為一個瀏覽的“客戶端”，向伺服器端發送了 一次請求，把伺服器端的文件“抓”到本地，再進行解釋、展現。 HTML是一種標記語言，以標籤標記內容並加以解析和區分。瀏覽器的功能是將取得到的HTML程式碼進行解析，然後將原始的程式碼轉換成我們直接看到的網站頁面。

　　簡單的來講，URL就是在瀏覽器端輸入的網址這個字串。在理解URL之前，首先要先理解URI的概念。

　　什麼是URI？

　　Web上每個可用的資源，如 HTML文件、圖片、影片片段、程式等都由一個通用資源標誌符號(Universal Resource Identifier， URI)進行定位。

　　URI通常由三個部分組成：

• #存取資源的命名機制；

• 存放資源的主機名稱；

• 資源本身的名稱，由路徑表示。

• 這是可以透過HTTP協定存取的資源，

• 位於主機上，

• 透過路徑“/html/html40”存取。 

 　　2.  URL的理解與範例

　　URL是URI的子集。它是Uniform Resource Locator的縮寫，譯為「統一資源定位 符」。通俗地說，URL是Internet上描述資訊資源的字串，主要用在各種WWW客戶程式和伺服器程式上。採用URL可以用一種統一的格式來描述各種資訊資源，包括檔案、伺服器的位址和目錄等。 URL的一般格式為(帶方括號[]的為可選項)：

　　protocol :// hostname[:port] / path / [;parameters][?query]#fragment

# URL的格式由三部分組成： 

• ##第一部分是協定(或稱為服務方式)。

• 第二部分是存有該資源的主機IP位址(有時也包含連接埠號碼)。

• 第三部分是主機資源的具體位址，如目錄和檔案名稱等。

　　第一部分和第二部分用「://」符號隔開，第二部分和第三部分用「/」符號隔開。第一部分和第二部分是不可缺少的，第三部分有時可以省略。 

 　　3、URL與URI簡單比較

　　URI屬於URL較低層次的抽象，一種字串文字標準。換句話說，URI屬於父類，而URL屬於URI的子類。 URL是URI的一個子集。 URI的定義是：統一資源識別碼；URL的定義是：統一資源定位符。二者的差別在於，URI表示請求伺服器的路徑，定義這麼一個資

來源。而URL同時說明要如何存取這個資源（http://）。

 　　下面來看看兩個URL的小範例。

 1.HTTP協定的URL範例：

使用超級文字傳輸協定HTTP，提供超級文字資訊服務的資源。 

超級文字檔案(檔案類型為.html)是在目錄 /channel下的welcome.htm。

這是中國人民日報的一台計算機。 

其電腦網域為www.rol.cn.Net。

超級文字檔案(檔案類型為.html)是在目錄/talk下的talk1.htm。

這是瑞得聊天室的地址，可由此進入瑞得聊天室的第1間。

2．檔案的URL
用URL表示檔案時，伺服器方式用file表示，後面要有主機IP位址、檔案的存取路 徑(即目錄)和檔案名稱等資訊。

有時可以省略目錄和檔名，但「/」符號不能省略。 

爬蟲最主要的處理對象就是URL，它根據URL位址取得所需的文件內容，然後對它 進行進一步的處理。

因此，準確地理解URL對理解網路爬蟲至關重要。

以上是爬蟲的工作原理的詳細內容。更多資訊請關注PHP中文網其他相關文章！