recherche

Maison  >  Article  >  développement back-end  >  Comparaison de quatre méthodes couramment utilisées pour localiser des éléments dans les robots Python, laquelle préférez-vous ?

Comparaison de quatre méthodes couramment utilisées pour localiser des éléments dans les robots Python, laquelle préférez-vous ?

Python当打之年
Python当打之年avant
2023-08-15 14:42:31908parcourir


Lors de l'utilisation de ce robot d'exploration Python pour collecter des données, une opération très importante consiste à savoir comment extraire les données de la page Web demandée, et localiser correctement les données souhaitées est la première étape.

Cet article comparera les méthodes couramment utilisées pour localiser les éléments de pages Web dans plusieurs robots d'exploration Python pour que tout le monde puisse les apprendre

"
  1. TraditionnelBeautifulSoup opération BeautifulSoup 操作
  2. 基于 BeautifulSoup 的 CSS 选择器（与 PyQuery 类似）
  3. XPath
  4. basée sur Le sélecteur CSS de BeautifulSoup (avec PyQuery similaire)
<pre class="brush:php;toolbar:false;">http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-1</pre><figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"><img src="https://img.php.cn/upload/article/001/267/443/21d313e128464b6c1113677cb281678c-1.jpg" alt="Comparaison de quatre méthodes couramment utilisées pour localiser des éléments dans les robots Python, laquelle préférez-vous ?" ></figure><p data-tool="mdnice编辑器" style="max-width:90%"> Prenons comme exemple le titre des 20 premiers livres. Assurez-vous d'abord que le site Web n'a pas mis en place de mesures anti-crawling et s'il peut renvoyer directement le contenu à analyser : </p><pre class="brush:php;toolbar:false;">import requests url = &amp;#39;http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-1&amp;#39; response = requests.get(url).text print(response)</pre><figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"><img src="https://img.php.cn/upload/article/001/267/443/21d313e128464b6c1113677cb281678c-2.png" alt="Comparaison de quatre méthodes couramment utilisées pour localiser des éléments dans les robots Python, laquelle préférez-vous ?" ></figure><p data-tool="mdnice编辑器" style="max-width:90%">Après une inspection minutieuse, il s'avère que toutes les données requises se trouvent dans le fichier renvoyé. contenu, indiquant qu'il n'est pas nécessaire d'envisager des mesures anti-crawling </p> <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;line-height: 26px;font-size: 16px;">Revoir les éléments de la page Web On pourra constater plus tard que les informations bibliographiques sont incluses dans <code style="padding: 2px 4px;border-radius: 4px;margin -droite : 2 px ; marge gauche : 2 px ; couleur d'arrière-plan : rgba (27, 31, 35, 0,05 ); famille de polices : " operator mono consolas monaco menlo monospace coupure de mots break-all rgb>li in, subordonné à class est bang_list clearfix bang_list_mode'sul dans Comparaison de quatre méthodes couramment utilisées pour localiser des éléments dans les robots Python, laquelle préférez-vous ?li 中，从属于 class 为 bang_list clearfix bang_list_mode 的 ul 中Comparaison de quatre méthodes couramment utilisées pour localiser des éléments dans les robots Python, laquelle préférez-vous ?

进一步审查也可以发现书名在的相应位置，这是多种解析方法的重要基础Comparaison de quatre méthodes couramment utilisées pour localiser des éléments dans les robots Python, laquelle préférez-vous ?

1. 传统 BeautifulSoup 操作

经典的 BeautifulSoup 方法借助 from bs4 import BeautifulSoup，然后通过 soup = BeautifulSoup(html, "lxml") 将文本转换为特定规范的结构，利用 find

Un examen plus approfondi peut également révéler la position correspondante du titre du livre, qui constitue une base importante pour diverses méthodes d'analyseComparaison de quatre méthodes couramment utilisées pour localiser des éléments dans les robots Python, laquelle préférez-vous ?

1. Opération BeautifulSoup traditionnelle

Comparaison de quatre méthodes couramment utilisées pour localiser des éléments dans les robots Python, laquelle préférez-vous ?La méthode classique BeautifulSoup utilise from bs4 import BeautifulSoup, puis transmettez soup = BeautifulSoup(html, "lxml") Convertit le texte en une structure standard spécifique, en utilisant find série de méthodes Pour l'analyse, le code est le suivant : 
import requests
from bs4 import BeautifulSoup

url = &#39;http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-1&#39;
response = requests.get(url).text

def bs_for_parse(response):
    soup = BeautifulSoup(response, "lxml")
    li_list = soup.find(&#39;ul&#39;, class_=&#39;bang_list clearfix bang_list_mode&#39;).find_all(&#39;li&#39;) # 锁定ul后获取20个li
    for li in li_list:
        title = li.find(&#39;div&#39;, class_=&#39;name&#39;).find(&#39;a&#39;)[&#39;title&#39;] # 逐个解析获取书名
        print(title)

if __name__ == &#39;__main__&#39;:
    bs_for_parse(response)

🎜🎜 Vous avez obtenu avec succès 20 titres de livres. Certains d'entre eux sont longs et peuvent être traités via des expressions régulières ou d'autres méthodes de chaîne. Cet article ne les présentera pas en détail🎜.

2. 基于 BeautifulSoup 的 CSS 选择器

这种方法实际上就是 PyQuery 中 CSS 选择器在其他模块的迁移使用，用法是类似的。关于 CSS 选择器详细语法可以参考：http://www.w3school.com.cn/cssref/css_selectors.asp由于是基于 BeautifulSoup 所以导入的模块以及文本结构转换都是一致的：

import requests
from bs4 import BeautifulSoup

url = &#39;http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-1&#39;
response = requests.get(url).text
        
def css_for_parse(response):
    soup = BeautifulSoup(response, "lxml") 
    print(soup)

if __name__ == &#39;__main__&#39;:
    css_for_parse(response)

然后就是通过 soup.select 辅以特定的 CSS 语法获取特定内容，基础依旧是对元素的认真审查分析：

import requests
from bs4 import BeautifulSoup
from lxml import html

url = &#39;http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-1&#39;
response = requests.get(url).text
        
def css_for_parse(response):
    soup = BeautifulSoup(response, "lxml")
    li_list = soup.select(&#39;ul.bang_list.clearfix.bang_list_mode > li&#39;)
    for li in li_list:
        title = li.select(&#39;div.name > a&#39;)[0][&#39;title&#39;]
        print(title)

if __name__ == &#39;__main__&#39;:
    css_for_parse(response)

3. XPath

XPath 即为 XML 路径语言，它是一种用来确定 XML 文档中某部分位置的计算机语言，如果使用 Chrome 浏览器建议安装 XPath Helper 插件，会大大提高写 XPath 的效率。

之前的爬虫文章基本都是基于 XPath，大家相对比较熟悉因此代码直接给出：

import requests
from lxml import html

url = &#39;http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-1&#39;
response = requests.get(url).text

def xpath_for_parse(response):
    selector = html.fromstring(response)
    books = selector.xpath("//ul[@class=&#39;bang_list clearfix bang_list_mode&#39;]/li")
    for book in books:
        title = book.xpath(&#39;div[@class="name"]/a/@title&#39;)[0]
        print(title)

if __name__ == &#39;__main__&#39;:
    xpath_for_parse(response)

4. 正则表达式

如果对 HTML 语言不熟悉，那么之前的几种解析方法都会比较吃力。这里也提供一种万能解析大法：正则表达式，只需要关注文本本身有什么特殊构造文法，即可用特定规则获取相应内容。依赖的模块是 re

首先重新观察直接返回的内容中，需要的文字前后有什么特殊：

import requests
import re

url = &#39;http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-1&#39;
response = requests.get(url).text
print(response)
Comparaison de quatre méthodes couramment utilisées pour localiser des éléments dans les robots Python, laquelle préférez-vous ?

Comparaison de quatre méthodes couramment utilisées pour localiser des éléments dans les robots Python, laquelle préférez-vous ?观察几个数目相信就有答案了：a7758aac1f23c7126c7b5ea3ba480710eab402ff055639ed6d70ede803486abf 书名就藏在上面的字符串中，蕴含的网址链接中末尾的数字会随着书名而改变。

分析到这里正则表达式就可以写出来了：

import requests
import re

url = &#39;http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-1&#39;
response = requests.get(url).text

def re_for_parse(response):
    reg = &#39;<div class="name"><a href="http://product.dangdang.com/\d+.html" target="_blank" title="(.*?)">&#39;
    for title in re.findall(reg, response):
        print(title)

if __name__ == &#39;__main__&#39;:
    re_for_parse(response)

可以发现正则写法是最简单的，但是需要对于正则规则非常熟练。所谓正则大法好！

当然，不论哪种方法都有它所适用的场景，在真实操作中我们也需要在分析网页结构来判断如何高效的定位元素，最后附上本文介绍的四种方法的完整代码，大家可以自行操作一下来加深体会

import requests
from bs4 import BeautifulSoup
from lxml import html
import re

url = &#39;http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-1&#39;
response = requests.get(url).text

def bs_for_parse(response):
    soup = BeautifulSoup(response, "lxml")
    li_list = soup.find(&#39;ul&#39;, class_=&#39;bang_list clearfix bang_list_mode&#39;).find_all(&#39;li&#39;)
    for li in li_list:
        title = li.find(&#39;div&#39;, class_=&#39;name&#39;).find(&#39;a&#39;)[&#39;title&#39;]
        print(title)

def css_for_parse(response):
    soup = BeautifulSoup(response, "lxml")
    li_list = soup.select(&#39;ul.bang_list.clearfix.bang_list_mode > li&#39;)
    for li in li_list:
        title = li.select(&#39;div.name > a&#39;)[0][&#39;title&#39;]
        print(title)

def xpath_for_parse(response):
    selector = html.fromstring(response)
    books = selector.xpath("//ul[@class=&#39;bang_list clearfix bang_list_mode&#39;]/li")
    for book in books:
        title = book.xpath(&#39;div[@class="name"]/a/@title&#39;)[0]
        print(title)

def re_for_parse(response):
    reg = &#39;<div class="name"><a href="http://product.dangdang.com/\d+.html" target="_blank" title="(.*?)">&#39;
    for title in re.findall(reg, response):
        print(title)

if __name__ == &#39;__main__&#39;:
    # bs_for_parse(response)
    # css_for_parse(response)
    # xpath_for_parse(response)
    re_for_parse(response)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Python css 正则表达式 chrome html beautifulsoup select xml 字符串 class href 选择器 ul li http
Déclaration：
Cet article est reproduit dans:. en cas de violation, veuillez contacter admin@php.cn Supprimer
Article précédent：Or trois, argent quatre, 50 questions essentielles d'entretien Python (collection recommandée)Article suivant：Or trois, argent quatre, 50 questions essentielles d'entretien Python (collection recommandée)

Articles Liés

Voir plus