Rumah > Artikel > pembangunan bahagian belakang > Cara menghuraikan halaman HTML dengan perangkak Python

Cara menghuraikan halaman HTML dengan perangkak Python

WBOYke hadapan: 2023-05-30 21:41:422962semak imbas

Menghuraikan halaman HTML dengan Python

Kami biasanya perlu menghuraikan halaman yang dirangkak web untuk mendapatkan data yang kami perlukan. Dengan menganalisis struktur gabungan teg HTML, kami boleh mengekstrak maklumat berguna yang terkandung dalam halaman web. Dalam Python, terdapat tiga cara biasa untuk menghuraikan HTML: penghuraian ungkapan biasa, penghuraian XPath dan penghuraian pemilih CSS.

Struktur halaman HTML

Memahami struktur asas halaman HTML adalah prasyarat sebelum menerangkan kaedah penghuraian HTML. Apabila kami membuka tapak web dalam penyemak imbas dan memilih item menu "Tunjukkan kod sumber halaman web" melalui menu klik kanan tetikus, kami dapat melihat kod HTML yang sepadan dengan halaman web. Kod HTML biasanya terdiri daripada tag, atribut dan teks. Label membawa kandungan yang dipaparkan pada halaman, atribut menambah maklumat label, dan teks ialah kandungan yang dipaparkan oleh label. Berikut ialah contoh struktur kod halaman HTML yang mudah:

<!DOCTYPE html>
<html>
    <head>
        <!-- head 标签中的内容不会在浏览器窗口中显示 -->
        <title>这是页面标题</title>
    </head>
    <body>
        <!-- body 标签中的内容会在浏览器窗口中显示 -->
        <h2>这是一级标题</h2>
        <p>这是一段文本</p>
    </body>
</html>

Dalam contoh kod halaman HTML ini, 8b05045a5be5764f313ed5b9168a17e6 ialah pengisytiharan jenis dokumen, teg 100db36a723c770d327fc0aef2ce13b1 ialah teg akar bagi keseluruhan halaman, 93f0f5c25f18dab9d176bd4f6de5d30e dan 6c04bd5ca3fcae76e30b72ad730ca86d ialah sub-tag teg 100db36a723c770d327fc0aef2ce13b1 Kandungan yang diletakkan di bawah teg 6c04bd5ca3fcae76e30b72ad730ca86d akan dipaparkan dalam tetingkap penyemak imbas Kandungan ini adalah kandungan utama halaman web Teg 93f0f5c25f18dab9d176bd4f6de5d30e tidak akan dipaparkan dalam penyemak imbas Ia dipaparkan dalam tetingkap, tetapi ia mengandungi maklumat meta penting halaman, biasanya dipanggil pengepala halaman web. Struktur kod umum halaman HTML adalah seperti berikut:

<!DOCTYPE html>
<html>
    <head>
        <!-- 页面的元信息，如字符编码、标题、关键字、媒体查询等 -->
    </head>
    <body>
        <!-- 页面的主体，显示在浏览器窗口中的内容 -->
    </body>
</html>

tag, Cascading Style Sheets (CSS) dan JavaScript ialah tiga komponen asas yang membentuk halaman HTML. Teg digunakan untuk membawa kandungan yang akan dipaparkan pada halaman, CSS bertanggungjawab untuk memaparkan halaman, dan JavaScript digunakan untuk mengawal tingkah laku interaktif halaman. Untuk menghuraikan halaman HTML, anda boleh menggunakan sintaks XPath, yang pada asalnya merupakan sintaks pertanyaan untuk XML Ia boleh mengekstrak kandungan atau atribut tag dalam teg berdasarkan struktur hierarki tag HTML Selain itu, anda juga boleh menggunakan pemilih CSS untuk mencari halaman . Elemen adalah sama seperti memaparkan elemen halaman menggunakan CSS.

Penghuraian XPath

XPath ialah sintaks untuk mencari maklumat dalam dokumen XML (Bahasa Penanda eXtensible) serupa dengan HTML dan merupakan bahasa teg yang menggunakan teg untuk membawa data sebabnya ialah teg XML boleh dikembangkan dan disesuaikan, dan XML mempunyai keperluan sintaks yang lebih ketat. XPath menggunakan ungkapan laluan untuk memilih set nod atau nod dalam dokumen XML Nod yang dinyatakan di sini termasuk elemen, atribut, teks, ruang nama, arahan pemprosesan, ulasan, nod akar, dsb.

Ungkapan laluan XPath adalah serupa dengan sintaks laluan fail, anda boleh menggunakan "/" dan "//" untuk memilih nod. Apabila memilih nod akar, anda boleh menggunakan garis miring tunggal "/" apabila memilih nod di mana-mana kedudukan, anda boleh menggunakan garis miring berganda "//". Contohnya, "/kedai buku/buku" bermaksud memilih semua subnod buku di bawah kedai buku nod akar, dan "//tajuk" bermaksud memilih nod tajuk di mana-mana kedudukan.

XPath juga boleh menggunakan predikat untuk menapis nod. Ungkapan bersarang dalam kurungan segi empat sama boleh berupa nombor, operator perbandingan atau panggilan fungsi yang berfungsi sebagai predikat. Contohnya, "/kedai buku/buku[1]" bermaksud memilih buku nod anak pertama kedai buku dan "//book[@lang]" bermaksud memilih semua nod buku dengan atribut lang.

Fungsi XPath termasuk rentetan, matematik, logik, nod, jujukan dan fungsi lain. Fungsi ini boleh digunakan untuk memilih nod, mengira nilai, menukar jenis data dan operasi lain. Sebagai contoh, fungsi "panjang rentetan(rentetan)" boleh mengembalikan panjang rentetan, dan fungsi "count(set-nod)" boleh mengembalikan bilangan nod dalam set nod.

Di bawah kami menggunakan contoh untuk menggambarkan cara menggunakan XPath untuk menghuraikan halaman. Katakan kita mempunyai fail XML berikut:

<?xml version="1.0" encoding="UTF-8"?>
<bookstore>
    <book>
      <title lang="eng">Harry Potter</title>
      <price>29.99</price>
    </book>
    <book>
      <title lang="zh">Learning XML</title>
      <price>39.95</price>
    </book>
</bookstore>

Untuk fail XML ini, kita boleh mendapatkan nod dalam dokumen menggunakan sintaks XPath seperti yang ditunjukkan di bawah.

路径表达式	结果
/bookstore	选取根元素 bookstore。注意：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
//book	选取所有 book 子元素，而不管它们在文档中的位置。
//@lang	选取名为 lang 的所有属性。
/bookstore/book[1]	选取 bookstore 的第一个子节点 book。

CSS 选择器解析

通过HTML标签的属性和关系来定位元素的方式被称为CSS选择器。根据 HTML 标签的层级结构、类名、id 等属性能够确定元素的位置。在 Python 中，我们可以使用 BeautifulSoup 库来进行 CSS 选择器解析。

我们接下来会举一个例子，讲解如何运用 CSS 选择器来分析页面。假设我们有如下的 HTML 代码：

<!DOCTYPE html>
<html>
<head>
	<meta charset="utf-8">
	<title>这是页面标题</title>
</head>
<body>
	<div class="content">
		<h2>这是一级标题</h2>
		<p>这是一段文本</p>
	</div>
	<div class="footer">
		<p>版权所有 © 2021</p>
	</div>
</body>
</html>

我们可以使用如下所示的 CSS 选择器语法来选取页面元素。

选择器	结果
div.content	选取 class 为 content 的 div 元素。
h2	选取所有的 h2 元素。
div.footer p	选取 class 为 footer 的 div 元素下的所有 p 元素。
[href]	选取所有具有 href 属性的元素。

正则表达式解析

用正则表达式可以解析 HTML 页面，从而实现文本的匹配、查找和替换。使用 re 模块可以进行 Python 的正则表达式解析。

下面我们通过一个例子来说明如何使用正则表达式对页面进行解析。假设我们有如下的 HTML 代码：

<!DOCTYPE html>
<html>
<head>
	<meta charset="utf-8">
	<title>这是页面标题</title>
</head>
<body>
	<div class="content">
		<h2>这是一级标题</h2>
		<p>这是一段文本</p>
	</div>
	<div class="footer">
		<p>版权所有 © 2021</p>
	</div>
</body>
</html>

我们可以使用如下所示的正则表达式来选取页面元素。

import re
html = '''
<!DOCTYPE html>
<html>
<head>
	<meta charset="utf-8">
	<title>这是页面标题</title>
</head>
<body>
	<div class="content">
		<h2>这是一级标题</h2>
		<p>这是一段文本</p>
	</div>
	<div class="footer">
		<p>版权所有 © 2021</p>
	</div>
</body>
</html>
'''
pattern = re.compile(r'.*?(.*?)
.*?(.*?)
.*?', re.S)
match = re.search(pattern, html)
if match:
    title = match.group(1)
    text = match.group(2)
    print(title)
    print(text)

以上代码中，我们使用 re 模块的 compile 方法来编译正则表达式，然后使用 search 方法来匹配 HTML 代码。在正则表达式中，“.*?”表示非贪婪匹配，也就是匹配到第一个符合条件的标签就停止匹配，而“re.S”表示让“.”可以匹配包括换行符在内的任意字符。最后，我们使用 group 方法来获取匹配的结果。

Atas ialah kandungan terperinci Cara menghuraikan halaman HTML dengan perangkak Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan：

Artikel ini dikembalikan pada:yisu.com. Jika ada pelanggaran, sila hubungi admin@php.cn Padam

Artikel sebelumnya：Bagaimana untuk melaksanakan resolusi nama domain tanpa log masuk dalam PythonArtikel seterusnya：Bagaimana untuk melaksanakan resolusi nama domain tanpa log masuk dalam Python

Artikel berkaitan

Lihat lagi