首頁  >  文章  >  後端開發  >  深度使用Scrapy:如何爬取HTML、XML、JSON資料?

深度使用Scrapy:如何爬取HTML、XML、JSON資料?

WBOY
WBOY原創
2023-06-22 17:58:401839瀏覽

Scrapy是一款強大的Python爬蟲框架,可以幫助我們快速、靈活地取得網路上的資料。在實際爬取過程中,我們會經常遇到HTML、XML、JSON等各種資料格式。在這篇文章中,我們將介紹如何使用Scrapy分別爬取這三種資料格式的方法。

一、爬取HTML資料

  1. 建立Scrapy專案

首先,我們需要建立一個Scrapy專案。開啟命令列,輸入以下指令:

scrapy startproject myproject

這個指令將會在目前資料夾下建立一個叫做myproject的Scrapy專案。

  1. 設定起始URL

接下來,我們需要設定起始的URL。在myproject/spiders目錄下,建立一個名為spider.py的文件,編輯文件,輸入以下程式碼:

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def parse(self, response):
        pass

程式碼首先匯入了Scrapy函式庫,然後定義了一個爬蟲類MySpider,設定了一個名為myspider的spider名稱,並設定了一個起始URL為http://example.com。最後定義了一個parse方法。 parse方法預設會被Scrapy調用,用來處理回應資料。

  1. 解析回應資料

接下來,我們需要解析回應資料。繼續編輯myproject/spiders/spider.py文件,加入以下程式碼:

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def parse(self, response):
        title = response.xpath('//title/text()').get()
        yield {'title': title}

程式碼中,我們使用response.xpath()方法來取得HTML頁面中的標題。使用yield來傳回字典類型數據,包含了我們獲取到的標題。

  1. 運行爬蟲

最後,我們需要運行Scrapy爬蟲。在命令列中輸入以下命令:

scrapy crawl myspider -o output.json

這個命令會將資料輸出到output.json檔案中。

二、爬取XML資料

  1. 建立Scrapy專案

同樣地,我們首先需要建立一個Scrapy專案。開啟命令列,輸入以下指令:

scrapy startproject myproject

這個指令將會在目前資料夾下建立一個叫做myproject的Scrapy專案。

  1. 設定起始URL

在myproject/spiders目錄下,建立一個名為spider.py的文件,編輯文件,輸入以下程式碼:

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com/xml']

    def parse(self, response):
        pass

程式碼中,我們設定了一個名為myspider的spider名稱,並設定了一個起始URL為http://example.com/xml。

  1. 解析回應資料

繼續編輯myproject/spiders/spider.py文件,加入以下程式碼:

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com/xml']

    def parse(self, response):
        for item in response.xpath('//item'):
            yield {
                'title': item.xpath('title/text()').get(),
                'link': item.xpath('link/text()').get(),
                'desc': item.xpath('desc/text()').get(),
            }

程式碼中,我們使用response. xpath()方法來取得XML頁面中的資料。使用for迴圈來遍歷item標籤,取得title、link、desc三個標籤內的文字數據,使用yield來傳回字典類型的資料。

  1. 運行爬蟲

最後,我們同樣需要運行Scrapy爬蟲。在命令列中輸入以下命令:

scrapy crawl myspider -o output.json

這個命令會將資料輸出到output.json檔案中。

三、爬取JSON資料

  1. 建立Scrapy專案

同樣地,我們需要建立一個Scrapy專案。開啟命令列,輸入以下指令:

scrapy startproject myproject

這個指令將會在目前資料夾下建立一個叫做myproject的Scrapy專案。

  1. 設定起始URL

在myproject/spiders目錄下,建立一個名為spider.py的文件,編輯文件,輸入以下程式碼:

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com/json']

    def parse(self, response):
        pass

程式碼中,我們設定了一個名為myspider的spider名稱,並設定了一個起始URL為http://example.com/json。

  1. 解析回應資料

繼續編輯myproject/spiders/spider.py文件,加入以下程式碼:

import scrapy
import json

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com/json']

    def parse(self, response):
        data = json.loads(response.body)
        for item in data['items']:
            yield {
                'title': item['title'],
                'link': item['link'],
                'desc': item['desc'],
            }

程式碼中,我們使用json. loads()方法來解析JSON格式的資料。使用for迴圈來遍歷items數組,取得每個item的title、link、desc三個屬性,使用yield來傳回字典類型的資料。

  1. 運行爬蟲

最後,同樣需要運行Scrapy爬蟲。在命令列中輸入以下命令:

scrapy crawl myspider -o output.json

這個命令會將資料輸出到output.json檔案中。

四、總結

在本文中,我們介紹如何使用Scrapy分別爬取HTML、XML、JSON資料。透過以上例子,你可以了解到Scrapy的基本用法,也可以根據需要深入學習更多進階用法,希望能給你在爬蟲技術方面提供幫助。

以上是深度使用Scrapy:如何爬取HTML、XML、JSON資料?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn