Scrapy 如何從 AJAX 支援的網站檢索動態內容？

Scrapy 如何從 AJAX 支援的網站檢索動態內容

許多網站使用 AJAX 技術動態顯示整個頁面。這對像 Scrapy 這樣的網頁抓取工具來說是一個挑戰，因為原始程式碼中不存在資料。

對此的一個解決方案是讓 Scrapy 發出 AJAX 請求來檢索所需的資料。為此，您可以使用 FormRequest 類別。以下是範例：

class MySpider(scrapy.Spider):
    ...
    def parse(self, response):
        # Extract the URL for the AJAX request
        ajax_url = response.css('script').re('url_list_gb_messages="(.*)"')[0]

        # Create a FormRequest with the appropriate form data
        yield FormRequest(ajax_url, callback=self.parse_ajax,
                          formdata={'page': '1', 'uid': ''})

    def parse_ajax(self, response):
        # Parse the JSON response and extract the desired data
        json_data = json.loads(response.body)
        for item in json_data['items']:
            yield {
                'author': item['author'],
                'date': item['date'],
                'message': item['message'],
                ...
            }

在此範例中，解析函數會提取 AJAX 請求的 URL 並提交包含必要表單資料的 FormRequest。然後 parse_ajax 函數解析 JSON 響應並提取所需的資料。

此技術可讓 Scrapy 從使用 AJAX 的網站檢索動態內容。透過發出 AJAX 請求，Scrapy 可以存取原始程式碼中不存在的數據，從而可以抓取複雜的網站。

以上是Scrapy 如何從 AJAX 支援的網站檢索動態內容？的詳細內容。更多資訊請關注PHP中文網其他相關文章！