Scrapy Spider が複数の Web ページ解析方法をサポートする方法

Scrapy は、Python で書かれた強力な Web クローラー フレームワークです。Web ページ情報の抽出、Web サイト上のコンテンツとデータの自動操作、大規模なデータ クローリングと処理タスクを非常に効率的な方法で処理するのに役立ちます。 Scrapy は、簡単に使用して拡張できる強力な Spider フレームワーク、API、プラグインを提供します。この記事では、Scrapy Spider で複数の Web ページ解析方法をサポートする方法を紹介します。

始める前に、いくつかの基本概念を理解する必要があります。 Scrapy クローラーは基本的に次の 3 つのステップで動作します。

1. リクエストを作成し、Web ページをダウンロードします。
2. ダウンロードされた Web ページを解析し、必要な情報を抽出します。
3. 抽出されたデータはデータ ストレージ メディアに保存されます。

これらの手順を実行するには、通常、必要な情報を抽出するための解析ルールを Spider に記述します。 Scrapy Spider は、XPath セレクター、CSS セレクター、正規表現など、データを抽出するためのルールを解析する複数の方法をサポートしています。さまざまな Web ページの構造とクローリングのニーズに応じて、さまざまなパーサーとセレクターを使用して Web ページ情報を抽出する必要があります。

Scrapy は、さまざまなタイプの解析メソッドをサポートするさまざまな Selector オブジェクトを提供します。以下は主な Selector オブジェクトの一部です:

• CSSSelector: CSS セレクター構文に基づくパーサー;
• XPathSelector: XPath 式に基づく標準パーサー。
• HtmlXPathSelector: XPathSelector から継承され、通常は HTML ドキュメントの解析に使用されます。
• XmlXPathSelector: XPathSelector から継承され、XML ドキュメントの解析に使用されます。

Spider ではこれらのセレクターとパーサーを自由に組み合わせて使用​​し、情報を抽出できます。

次の例は、Scrapy Spider で複数の Web ページ解析メソッドを使用する方法を示しています。

まず、新しい Scrapy プロジェクトを作成し、新しい Spider を作成する必要があります。 Spider では、parse() 関数を定義することによってデータの解析を完了することができます。また、他の関数を定義することによって、特定の種類の Web ページの解析を完了することもできます。以下は単純なスパイダーです。

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def parse(self, response):
        # Here we can use multiple parsing methods to extract desired data
        # We can either use CSS selectors or XPath selectors
        css_selector_data = response.css('div.content p::text').extract_first()
        xpath_selector_data = response.xpath('//div[contains(@class, "content")]/p/text()').extract_first()
        # print the extracted data from both methods
        print(f"CSS Selector parsed data: {css_selector_data}")
        print(f"XPath Selector parsed data: {xpath_selector_data}")

このスパイダーでは、定義された parse() 関数で 2 つの異なるセレクター メソッドを使用して、応答内のデータ (ネットワーク リクエストによって返されたオブジェクト) を解析します。最初の例では、CSS セレクターを使用して要素を検索し、最初の段落のテキスト コンテンツを抽出しました。2 番目の例では、XPath セレクターを使用して同じ操作を実行しました。どちらの解析方法も Web ページからデータを抽出するために使用でき、同じ Spider 内で一方または両方を使用できます。

もう 1 つのアプローチは、Scrapy プロジェクトで 2 つ以上の異なるスパイダーを使用して、さまざまな種類の Web ページを処理することです。ここでは、複数の Spider を定義し、それぞれ start_url として指定するだけです。

import scrapy


class CustomSpider1(scrapy.Spider):
    name = "test1"
    start_urls = ['http://example.com']

    def parse(self, response):
        # Use CSS selector to extract the title from the HTML
        title = response.css('title::text').extract_first()
        print(f"Title parsed by 'test1' spider: {title}")


class CustomSpider2(scrapy.Spider):
    name = "test2"
    start_urls = ['http://example.org']

    def parse(self, response):
        # Use XPath selector to extract the title from the XML
        title = response.xpath('//title/text()').extract_first()
        print(f"Title parsed by 'test2' spider: {title}")

これらは 2 つの単純な Scrapy Spider の例です。各 Spider は異なるセレクター メソッド (つまり、CSS セレクターと XPath セレクター) を使用して、対応するタイトルを抽出します。さらに、ここでの各 Spider には独自の start_url がありますが、さまざまなタイプの Web ページを処理できるように、必要に応じてさまざまなタイプの URL リストのセットを定義することもできます。

つまり、ここでは Scrapy Spider とセレクター メソッドについて簡単に紹介します。さらに詳しく知りたい読者は、Scrapy フレームワークのドキュメントを詳しく調べたり、他の外部ネットワークを使用して Scrapy を紹介したりできます。リソース。どちらの方法を選択しても、Scrapy は非常に強力で柔軟なネットワーク プログラミング ツールであり、データ マイニング、情報収集、データ分析などの分野で非常に幅広い役割を果たします。

以上がScrapy Spider が複数の Web ページ解析方法をサポートする方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。