Scrapy是一款強大的Python爬蟲框架,可以幫助我們快速、靈活地取得網路上的資料。在實際爬取過程中,我們會經常遇到HTML、XML、JSON等各種資料格式。在這篇文章中,我們將介紹如何使用Scrapy分別爬取這三種資料格式的方法。
一、爬取HTML資料
首先,我們需要建立一個Scrapy專案。開啟命令列,輸入以下指令:
scrapy startproject myproject
這個指令將會在目前資料夾下建立一個叫做myproject的Scrapy專案。
接下來,我們需要設定起始的URL。在myproject/spiders目錄下,建立一個名為spider.py的文件,編輯文件,輸入以下程式碼:
import scrapy class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['http://example.com'] def parse(self, response): pass
程式碼首先匯入了Scrapy函式庫,然後定義了一個爬蟲類MySpider,設定了一個名為myspider的spider名稱,並設定了一個起始URL為http://example.com。最後定義了一個parse方法。 parse方法預設會被Scrapy調用,用來處理回應資料。
接下來,我們需要解析回應資料。繼續編輯myproject/spiders/spider.py文件,加入以下程式碼:
import scrapy class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['http://example.com'] def parse(self, response): title = response.xpath('//title/text()').get() yield {'title': title}
程式碼中,我們使用response.xpath()方法來取得HTML頁面中的標題。使用yield來傳回字典類型數據,包含了我們獲取到的標題。
最後,我們需要運行Scrapy爬蟲。在命令列中輸入以下命令:
scrapy crawl myspider -o output.json
這個命令會將資料輸出到output.json檔案中。
二、爬取XML資料
同樣地,我們首先需要建立一個Scrapy專案。開啟命令列,輸入以下指令:
scrapy startproject myproject
這個指令將會在目前資料夾下建立一個叫做myproject的Scrapy專案。
在myproject/spiders目錄下,建立一個名為spider.py的文件,編輯文件,輸入以下程式碼:
import scrapy class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['http://example.com/xml'] def parse(self, response): pass
程式碼中,我們設定了一個名為myspider的spider名稱,並設定了一個起始URL為http://example.com/xml。
繼續編輯myproject/spiders/spider.py文件,加入以下程式碼:
import scrapy class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['http://example.com/xml'] def parse(self, response): for item in response.xpath('//item'): yield { 'title': item.xpath('title/text()').get(), 'link': item.xpath('link/text()').get(), 'desc': item.xpath('desc/text()').get(), }
程式碼中,我們使用response. xpath()方法來取得XML頁面中的資料。使用for迴圈來遍歷item標籤,取得title、link、desc三個標籤內的文字數據,使用yield來傳回字典類型的資料。
最後,我們同樣需要運行Scrapy爬蟲。在命令列中輸入以下命令:
scrapy crawl myspider -o output.json
這個命令會將資料輸出到output.json檔案中。
三、爬取JSON資料
同樣地,我們需要建立一個Scrapy專案。開啟命令列,輸入以下指令:
scrapy startproject myproject
這個指令將會在目前資料夾下建立一個叫做myproject的Scrapy專案。
在myproject/spiders目錄下,建立一個名為spider.py的文件,編輯文件,輸入以下程式碼:
import scrapy class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['http://example.com/json'] def parse(self, response): pass
程式碼中,我們設定了一個名為myspider的spider名稱,並設定了一個起始URL為http://example.com/json。
繼續編輯myproject/spiders/spider.py文件,加入以下程式碼:
import scrapy import json class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['http://example.com/json'] def parse(self, response): data = json.loads(response.body) for item in data['items']: yield { 'title': item['title'], 'link': item['link'], 'desc': item['desc'], }
程式碼中,我們使用json. loads()方法來解析JSON格式的資料。使用for迴圈來遍歷items數組,取得每個item的title、link、desc三個屬性,使用yield來傳回字典類型的資料。
最後,同樣需要運行Scrapy爬蟲。在命令列中輸入以下命令:
scrapy crawl myspider -o output.json
這個命令會將資料輸出到output.json檔案中。
四、總結
在本文中,我們介紹如何使用Scrapy分別爬取HTML、XML、JSON資料。透過以上例子,你可以了解到Scrapy的基本用法,也可以根據需要深入學習更多進階用法,希望能給你在爬蟲技術方面提供幫助。
以上是深度使用Scrapy:如何爬取HTML、XML、JSON資料?的詳細內容。更多資訊請關注PHP中文網其他相關文章!