首頁 > 文章 > 後端開發 > 在Python中的網頁抓取和資料擷取技術

在Python中的網頁抓取和資料擷取技術

WBOY轉載: 2023-09-16 14:37:061244瀏覽

Python 已成為各種應用程式的首選程式語言，其多功能性延伸到了網頁抓取領域。憑藉其豐富的程式庫和框架生態系統，Python 提供了一個強大的工具包，可從網站提取資料並釋放有價值的見解。無論您是資料愛好者、研究人員還是行業專業人士，Python 中的網頁抓取都可以成為利用大量線上資訊的寶貴技能。

在本教程中，我們將深入研究網頁抓取領域，並探索 Python 中可用於從網站提取資料的各種技術和工具。我們將揭示網頁抓取的基礎知識，了解圍繞這種做法的合法性和道德考慮，並深入研究資料提取的實際方面。在本文的下一部分中，我們將介紹專為網頁擷取設計的基本 Python 程式庫。我們將仔細研究 BeautifulSoup，一個用於解析 HTML 和 XML 文件的流行庫，並探索如何利用它來有效地提取資料。

用於網頁抓取的基本 Python 函式庫

當涉及 Python 中的網頁抓取時，有幾個重要的程式庫提供了必要的工具和功能。在本節中，我們將向您介紹這些程式庫並重點介紹它們的主要功能。

BeautifulSoup 簡介

Python 中最受歡迎的網頁抓取庫之一是 BeautifulSoup。它使我們能夠輕鬆地解析和導航 HTML 和 XML 文件。 BeautifulSoup 可以輕鬆地從網頁中提取特定的資料元素，例如文字、連結、表格等。

要開始使用 BeautifulSoup，我們首先需要使用 Python 的套件管理器 pip 安裝它。開啟命令提示字元或終端機並執行以下命令：

pip install beautifulsoup4

安裝後，我們可以導入該庫並開始使用其功能。在本教程中，我們將重點放在 HTML 解析，因此讓我們探討一個範例。考慮以下 HTML 片段：

<html>
  <body>
    <h1>Hello, World!</h1>
    <p>Welcome to our website.</p>
  </body>
</html>

現在，讓我們來寫一些 Python 程式碼來使用 BeautifulSoup 解析此 HTML：

from bs4 import BeautifulSoup

html = '''
<html>
  <body>
    <h1>Hello, World!</h1>
    <p>Welcome to our website.</p>
  </body>
</html>
'''

soup = BeautifulSoup(html, 'html.parser')
title = soup.h1.text
paragraph = soup.p.text

print("Title:", title)
print("Paragraph:", paragraph)

輸出

Title: Hello, World!
Paragraph: Welcome to our website.

如您所見，我們從「bs4」模組匯入了 BeautifulSoup 類，並透過傳遞 HTML 內容和解析器類型（「html.parser」）來建立了它的實例。然後，我們使用「soup」物件透過標籤（例如「h1」、「p」）存取特定元素，並使用「.text」屬性來提取文字。

使用請求庫

Requests 函式庫是 Python 中網頁抓取的另一個重要工具。它簡化了發出 HTTP 請求和檢索網頁內容的過程。透過 Requests，我們可以取得網頁的 HTML，然後可以使用 BeautifulSoup 等函式庫來解析。

要安裝 Requests 函式庫，請在命令提示字元或終端機中執行下列命令：

pip install requests

安裝後，我們可以導入庫並開始使用它。讓我們來看看一個如何取得網頁 HTML 內容的範例：

import requests

url = "https://example.com"
response = requests.get(url)
html_content = response.text

print(html_content)

輸出

<!doctype html>
<html>
  <head>
    <title>Example Domain</title>
    ...
  </head>
  <body>
    <h1>Example Domain</h1>
    ...
  </body>
</html>

在上面的程式碼中，我們導入了 Requests 函式庫並提供了我們想要抓取的網頁的 URL `(https://example.com`)。我們使用「get()」方法將 HTTP GET 請求傳送到指定的 URL，並將回應儲存在「response」變數中。最後，我們使用「.text」屬性存取回應的 HTML 內容。

Python 中的基本網頁抓取技術

在本節中，我們將使用 Python 探索一些基本的網頁抓取技術。我們將介紹如何使用 CSS 選擇器和 XPath 表達式檢索網頁內容和提取數據，以及處理抓取多個頁面的分頁。

使用 CSS 選擇器和 XPath 表達式擷取資料

我們可以使用 CSS 選擇器和 XPath 表達式從 HTML 中擷取資料。 BeautifulSoup 提供了「select()」和「find_all()」等方法來利用這些強大的技術。

考慮以下 HTML 片段：

<html>
  <body>
    <div class="container">
      <h1>Python Web Scraping</h1>
      <ul>
        <li class="item">Data Extraction</li>
        <li class="item">Data Analysis</li>
      </ul>
    </div>
  </body>
</html>

讓我們使用 CSS 選擇器來提取清單項目：

from bs4 import BeautifulSoup

html = '''
<html>
  <body>
    <div class="container">
      <h1>Python Web Scraping</h1>
      <ul>
        <li class="item">Data Extraction</li>
        <li class="item">Data Analysis</li>
      </ul>
    </div>
  </body>
</html>
'''

soup = BeautifulSoup(html, 'html.parser')
items = soup.select('.item')

for item in items:
    print(item.text)

輸出

Data Extraction
Data Analysis

在上面的程式碼中，我們使用「.select()」方法和 CSS 選擇器「.item」來選擇類別名為「item」的所有元素。然後，我們迭代所選元素並使用“.text”屬性列印其文字。

同樣，BeautifulSoup 支援 XPath 表達式進行資料擷取。但是，對於 XPath 功能，您可能需要安裝「lxml」庫，本教學未介紹該庫。

結論

在本教程中，我們探索了 Python 中的網頁抓取技術，並專注於基本庫。我們引入了 BeautifulSoup 來解析 HTML 和 XML，以及 Requests 來檢索網頁內容。我們提供了使用 CSS 選擇器提取資料的範例，並討論了網頁抓取的基礎知識。在下一節中，我們將深入探討進階技術，例如處理 JavaScript 渲染頁面和使用 API。請繼續關注以下文章中的更多見解！

以上是在Python中的網頁抓取和資料擷取技術的詳細內容。更多資訊請關注PHP中文網其他相關文章！

Python JavaScript css html beautifulsoup pip select xml 对象选择器 http https

陳述：

本文轉載於：tutorialspoint.com。如有侵權，請聯絡admin@php.cn刪除

上一篇：什麼是最好的Python資源？下一篇：什麼是最好的Python資源？

看更多