眾多語言都能進行爬蟲，但基於python的爬蟲顯得更加簡潔，方便。爬蟲也成了python語言中不可或缺的一部分。爬蟲的解析方式也是多樣化。上一篇告訴大家的是爬蟲的解析方式三：正規表示式，今天帶給大家的是另一種方式，PyQuery。
PyQuery
PyQuery函式庫也是一個非常強大又靈活的網頁解析函式庫，如果你有前端開發經驗的，都應該接觸過jQuery,那麼PyQuery就是你非常絕佳的選擇，PyQuery 是Python 仿照jQuery 的嚴格實作。語法與 jQuery 幾乎完全相同，所以不用再去費心記一些奇怪的方法了。
初始化的時候一般有三種傳入方式：傳入字串，傳入url,傳入檔案。
字串初始化
html =
<div>
<ul>
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
from pyquery
import PyQuery as pq
doc = pq(html)print(doc)
print(type(doc))
print(doc('li'))結果如下：
#由於PyQuery寫起來比較麻煩，所以我們導入的時候都會加入別名：
from pyquery import PyQuery as pq
這裡我們可以知道上述程式碼中的doc其實就是一個pyquery對象，我們可以透過doc可以進行元素的選擇，其實這裡就是一個css選擇器，所以CSS選擇器的規則都可以用，直接doc(標籤名)就可以取得所有的該標籤的內容，如果想要取得class 則doc('.class_name'),如果是id則doc('#id_name') ....
URL初始化
from pyquery import PyQuery as pq doc = pq(url="http://www.baidu.com",encoding='utf-8')print(doc('head'))
檔案初始化
我們在pq()這裡可以傳入url參數也可以傳入檔案參數，當然這裡的文件通常是html文件，例如：pq(filename='index.html')
#基本的CSS選擇器
html = '''
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>'''
from pyquery import PyQuery as pq
doc = pq(html)
print(doc('#container .list li'))這裡我們需要注意的一個地方是doc ('#container .list li')，這裡的三者之間的並不是必須要挨著，只要是層級關係就可以,下面是常用的CSS選擇器方法：
找出元素
子元素
children,find
程式碼範例：
html = '''
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
print(type(items))
print(items)
lis = items.find('li')
print(type(lis))
print(lis)運行結果如下
從結果裡我們也可以看出透過pyquery找到結果其實還是一個pyquery對象，可以繼續查找，上述中的程式碼中的items.find('li') 則表示查找ul裡的所有的li標籤
當然這裡透過children可以實現同樣的效果,並且透過.children方法得到的結果也是一個pyquery物件
li = items.children() print(type(li)) print(li)
同時在children裡也可以用CSS選擇器
li2 = items.children('.active') print(li2)
父元素
parent,parents方法
#透過.parent就可以找到父元素的內容，範例如下：
html = '''<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>'''from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
container = items.parent()
print(type(container))
print(container)透過.parents就可以找到祖先節點的內容，例子如下：
html = '''
<div class="wrap">
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
parents = items.parents()
print(type(parents))
print(parents)結果如下：從結果我們可以看出返回了兩部分內容，一個是的父節點的信息，一個是父節點的父節點的信息即祖先節點的信息
同樣我們透過.parents查找的時候也可以加入css選擇器來進行內容的篩選
#兄弟元素
siblings
html = '''
<div class="wrap">
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.list .item-0.active')
print(li.siblings())代碼中doc('.list .item-0.active') 中的.tem-0和.active是緊鄰的，所以表示是併的關係，這樣滿足條件的就剩下一個了：thired item的那個標籤了
這樣在通過.siblings就可以取得所有的兄弟標籤，當然這裡是不包括自己的
同樣的在.siblings()裡也是可以透過CSS選擇器進行篩選
#遍歷
單一元素
html = '''
<div class="wrap">
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
lis = doc('li').items()
print(type(lis))for li in lis:
print(type(li))
print(li)運行結果如下：從結果中我們可以看出透過items()可以得到一個生成器，而我們透過for迴圈得到的每個元素依然是一個pyquery物件。
取得資訊
取得屬性
pyquery物件.attr(屬性名稱)
pyquery物件.attr.屬性名稱
html = '''
<div class="wrap">
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
a = doc('.item-0.active a')
print(a)
print(a.attr('href'))
print(a.attr.href)所以這裡我們也可以知道得到屬性值的時候可以直接a.attr(屬性名稱)或a.attr.屬性名稱
取得文字
在很多時候我們是需要取得被html標籤包含的文字資訊,透過.text()就可以取得文字資訊
html = '''
<div class="wrap">
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
a = doc('.item-0.active a')
print(a)
print(a.text())結果如下：
取得html
我們透過.html()的方式可以取得目前標籤所包含的html信息，範例如下：
html = '''
<div class="wrap">
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
print(li.html())結果如下：
DOM運算
addClass、removeClass
熟悉前端操作的话，通过这两个操作可以添加和删除属性
html = '''
<div class="wrap">
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
li.removeClass('active')
print(li)
li.addClass('active')
print(li)attr,css
同样的我们可以通过attr给标签添加和修改属性，
如果之前没有该属性则是添加，如果有则是修改
我们也可以通过css添加一些css属性，这个时候，标签的属性里会多一个style属性
html = '''
<div class="wrap">
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
li.attr('name', 'link')
print(li)
li.css('font-size', '14px')
print(li)结果如下：
remove
有时候我们获取文本信息的时候可能并列的会有一些其他标签干扰，这个时候通过remove就可以将无用的或者干扰的标签直接删除，从而方便操作
html = '''<div class="wrap">
Hello, World
<p>This is a paragraph.</p>
</div>'''from pyquery import PyQuery as pq
doc = pq(html)
wrap = doc('.wrap')
print(wrap.text())
wrap.find('p').remove()
print(wrap.text())结果如下：
以上是爬蟲的解析方式四：PyQuery的詳細內容。更多資訊請關注PHP中文網其他相關文章！
Python vs.C：申請和用例Apr 12, 2025 am 12:01 AMPython适合数据科学、Web开发和自动化任务，而C 适用于系统编程、游戏开发和嵌入式系统。Python以简洁和强大的生态系统著称，C 则以高性能和底层控制能力闻名。
2小時的Python計劃：一種現實的方法Apr 11, 2025 am 12:04 AM2小時內可以學會Python的基本編程概念和技能。 1.學習變量和數據類型，2.掌握控制流（條件語句和循環），3.理解函數的定義和使用，4.通過簡單示例和代碼片段快速上手Python編程。
Python：探索其主要應用程序Apr 10, 2025 am 09:41 AMPython在web開發、數據科學、機器學習、自動化和腳本編寫等領域有廣泛應用。 1)在web開發中，Django和Flask框架簡化了開發過程。 2)數據科學和機器學習領域，NumPy、Pandas、Scikit-learn和TensorFlow庫提供了強大支持。 3)自動化和腳本編寫方面，Python適用於自動化測試和系統管理等任務。
您可以在2小時內學到多少python？Apr 09, 2025 pm 04:33 PM兩小時內可以學到Python的基礎知識。 1.學習變量和數據類型，2.掌握控制結構如if語句和循環，3.了解函數的定義和使用。這些將幫助你開始編寫簡單的Python程序。
如何在10小時內通過項目和問題驅動的方式教計算機小白編程基礎？Apr 02, 2025 am 07:18 AM如何在10小時內教計算機小白編程基礎？如果你只有10個小時來教計算機小白一些編程知識，你會選擇教些什麼�...
如何在使用 Fiddler Everywhere 進行中間人讀取時避免被瀏覽器檢測到？Apr 02, 2025 am 07:15 AM使用FiddlerEverywhere進行中間人讀取時如何避免被檢測到當你使用FiddlerEverywhere...
Python 3.6加載Pickle文件報錯"__builtin__"模塊未找到怎麼辦？Apr 02, 2025 am 07:12 AMPython3.6環境下加載Pickle文件報錯：ModuleNotFoundError:Nomodulenamed...
如何提高jieba分詞在景區評論分析中的準確性？Apr 02, 2025 am 07:09 AM如何解決jieba分詞在景區評論分析中的問題？當我們在進行景區評論分析時，往往會使用jieba分詞工具來處理文�...
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
AI Hentai Generator
免費產生 AI 無盡。
熱門文章
熱工具
Atom編輯器mac版下載
最受歡迎的的開源編輯器
MantisBT
Mantis是一個易於部署的基於Web的缺陷追蹤工具，用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。
ZendStudio 13.5.1 Mac
強大的PHP整合開發環境
EditPlus 中文破解版
體積小，語法高亮，不支援程式碼提示功能
SecLists
SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合，這些清單在安全評估過程中經常使用，而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表，幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上，他就可以存取所需的每種類型的清單。
