python實例詳解之xpath解析

這篇文章為大家帶來了關於python的相關知識，其中主要介紹了xpath的相關問題，XPath，全名為XML Path Language，即XML路徑語言，它是一門在XML文件中查找資訊的語言，希望對大家有幫助。

推薦學習：python教學

XPath，全名為XML Path Language，即XML路徑語言，它是一門在XML文件中尋找資訊的語言，它最初是用來搜尋XML文檔的，但是它同樣適用於HTML文檔的搜尋

XPath的選擇功能十分強大，它提供了非常簡潔的路徑選擇表達式，另外，它也提供了超過100個內建函數，用於字串、數值、時間的匹配以及節點、序列的處理等，幾乎所有我們想要定位的節點，都可以用XPath來選擇

xpath解析原理:

• 實現標籤的定位：實例化一個etree的對象，且需要將被解析的頁面源碼資料載入到該對像中。

• 呼叫etree物件中的xpath方法結合著xpath表達式實現標籤的定位和內容的捕獲。

環境的安裝

pip install lxml

lxml是python的一個解析庫，支援HTML和XML的解析，支援XPath解析方式，而且解析效率非常高

如何實例化一個etree物件

1.將本地的html文檔中的源碼資料載入到etree物件中:

etree. parse(filePath)#你的文件路径

2.可以將從網路上取得的來源碼數據載入到該物件中

etree.HtML('page_ text')#page_ text互联网中响应的数据

xpath 表達式

選取此節點的所有子節點表示的是從根節點開始定位。表示的是一個層級。 表示的是多個層級。可以表示從任意位置開始定位。 選取目前節點#選取目前節點的父節點選取屬性通配符，選擇所有元素節點與元素名稱選取所有屬性選取具有給定屬性的所有元素

#表達式	描述
	#nodename
	#/
	//
	.
	#…
	@
	*
	@*
	#[@attrib]

######[@attrib='value']######選取給定屬性具有給定值的所有元素############[tag ]######選取所有具有指定元素的直接子節點############[tag='text']######選取所有具有指定元素且文字內容是text節點#############

对上面表达式的实例详解

这是一个HTML的文档

	<meta>
	<title>测试bs4</title>
	<p>
		</p><p>百里守约</p>
	
	<p>
		</p><p>李清照</p>
		<p>王安石</p>
		<p>苏轼</p>
		<p>柳宗元</p>
		<a>
			<span>this is span</span>
		宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱</a>
		<a>总为浮云能蔽日,长安不见使人愁</a>
		<img  alt="python實例詳解之xpath解析" >
	
	<p>
		</p>

• 清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村
• 秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山
• 岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君
• 杜甫
• 杜牧
• 杜小月
• 度蜜月
• 凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘

从浏览器中打开是这样的

为了方便直观，我们对写个HTML文件进行本地读取进行测试

子节点和子孙节点的定位 / 和 //

先来看子节点和子孙节点，我们从上往下找p这个节点，可以看到p的父节点是body，body父节点是html

定位到这个HTML的p对象中，看上面html源码，可以知道有三个p对象

我们通过三种不同的方法来输出这个节点的信息，可以看到输出的是三个一样的Element，也就是这三种方法实现的功能是一样的。

import requestsfrom lxml import etree
tree = etree.parse('test.html')r1=tree.xpath('/html/body/p')	#直接从上往下挨着找节点r2=tree.xpath('/html//p')#跳跃了一个节点来找到这个p节点的对象r3=tree.xpath('//p')##跳跃上面所有节点来寻找p节点的对象r1,r2,r3>>([<element>,
  <element>,
  <element>],
  
 [<element>,
  <element>,
  <element>],
  
 [<element>,
  <element>,
  <element>])</element></element></element></element></element></element></element></element></element>

属性定位

如果我只想要p里面song这一个标签，就可以对其属性定位

当然返回的还是一个element

r4=tree.xpath('//p[@class="song"]')r4>>>[<element>]</element>

索引定位

如果我只想获得song里面的苏轼的这个标签
我们找到了song，/p可以返回里面的所有标签，

tree.xpath('//p[@class="song"]/p')>>[<element>,
 <element>,
 <element>,
 <element>]</element></element></element></element>

这个单独返回的苏轼的p标签，要注意的是这里的索引不是从0开始的，而是1

tree.xpath('//p[@class="song"]/p[3]')[<element>]</element>

取文本

比如我想取杜牧这个文本内容

和上面一样，我们要定位到杜牧的这个a标签，首先要找到他的上一级 li ，这是第五个 li 里面的a所以就有了下面的写法，text()是把element转化为文本，当然上面的在后面加个text（）都可以展示文本内容。

tree.xpath('//p[@class="tang"]//li[5]/a/text()')>>['杜牧']

可以看到这个返回的是一个列表，如果我们想取里面的字符串，可以这样

tree.xpath('//p[@class="tang"]//li[5]/a/text()')[0]杜牧

看一个更直接的，//li 直接定位到 li这个标签，//text（）直接将这个标签下的文本提取出来。但要注意，这样会把所有的li标签下面的文本提取出来，有时候你并不想要的文本也会提取出来，所以最好还是写详细一点，如具体到哪个p里的li。

tree.xpath('//li//text()')['清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村',
 '秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山',
 '岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君',
 '杜甫',
 '杜牧',
 '杜小月',
 '度蜜月',
 '凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘']

取属性

比如我想取下面这个属性

可以直接用@取属性

tree.xpath('//p[@class="song"]/img/@src')['http://www.baidu.com/meinv.jpg']

或者如果我想取所有的href这个属性，可以看到tang和song的所有href属性

tree.xpath('//@href')['http://www.song.com/',
 '',
 'http://www.baidu.com',
 'http://www.163.com',
 'http://www.126.com',
 'http://www.sina.com',
 'http://www.dudu.com',
 'http://www.haha.com']

爬虫实战之58同城房源信息

#导入必要的库import requestsfrom lxml import etree#URL就是网址，headers看图一url='https://sh.58.com/ershoufang/'headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.7 Safari/537.36'}#对网站发起请求page_test=requests.get(url=url,headers=headers).text# 这里是将从互联网上获取的源码数据加载到该对象中tree=etree.HTML(page_test)#先看图二的解释，这里li有多个，所里返回的li_list是一个列表li_list=tree.xpath('//ul[@class="house-list-wrap"]/li')#这里我们打开一个58.txt文件来保存我们的信息fp=open('58.txt','w',encoding='utf-8')#li遍历li_listfor li in li_list:
	#这里 ./是对前面li的继承，相当于li/p...
    title=li.xpath('./p[2]/h2/a/text()')[0]
    print(title+'\n')
    #把文件写入文件
    fp.write(title+'\n')fp.close()

图一：

图二：.
这里我们要提取所有的房源信息，可以看到每个小节点的上一个节点都是一样的，我们要提取的是h2节点a里的房源信息，看图三

这里每个 /li 节点里面的子节点都是一样的，所以我们可以先找到所有的li节点，再往下找我们想要的信息

推荐学习：python教程

以上是python實例詳解之xpath解析的詳細內容。更多資訊請關注PHP中文網其他相關文章！