如何使用 BeautifulSoup 精确选取嵌套子标签并提取目标数据-html教程-PHP中文网

如何使用 BeautifulSoup 精确选取嵌套子标签并提取目标数据

本文详解如何在 BeautifulSoup 中通过 CSS 选择器（如 select_one() 和 nth-of-type()）精准定位多级嵌套结构中的特定子元素，特别是当同级存在多个相似 class（如多个 count-wrap）时，可靠提取 class="val" 内的文本值。

本文详解如何在 beautifulsoup 中通过 css 选择器（如 `select_one()` 和 `nth-of-type()`）精准定位多级嵌套结构中的特定子元素，特别是当同级存在多个相似 class（如多个 `count-wrap`）时，可靠提取 `class="val"` 内的文本值。

在网页爬虫开发中，常遇到一类典型结构：父容器（如 class="b-card"）内包含多个功能相似但语义不同的子模块（如“总项目数”和“在建项目数”，均包裹在 class="count-wrap" 中）。此时若仅用 find() 或 find_all()，容易因顺序模糊或结构微变导致数据错位——例如将“总项目数”误取为“在建项目数”。

针对您提供的 HTML 片段，两个 count-wrap 元素并列存在于 b-dtls 下，且结构完全一致：

<div class="count-wrap one">  <!-- 总项目数 -->
  <div class="circle"><div class="val">99</div></div>
  <div class="lbl">Total Projects</div>
</div>
<div class="count-wrap">        <!-- 在建项目数 -->
  <div class="circle"><div class="val">36</div></div>
  <div class="lbl">Ongoing Projects</div>
</div>

此时，不能依赖 find('div', class_='count-wrap') 的默认行为（它只返回第一个匹配项），而应采用更鲁棒的定位策略。

✅ 推荐方案：CSS 选择器 + select_one()
利用 nth-of-type(n) 精确指定第 n 个同类型兄弟节点，再逐层下钻至目标 val：

# 提取“在建项目数”（第二个 count-wrap 中的 val 文本）
bcard_OngoingProjs = bcard.select_one('div.count-wrap:nth-of-type(2) div.circle div.val')
if bcard_OngoingProjs:  # 增加健壮性检查
    ongoing_count = bcard_OngoingProjs.get_text(strip=True)
else:
    ongoing_count = "N/A"

# 同理，提取“总项目数”（第一个 count-wrap）
bcard_TotalProjs = bcard.select_one('div.count-wrap:nth-of-type(1) div.circle div.val')
total_count = bcard_TotalProjs.get_text(strip=True) if bcard_TotalProjs else "N/A"

⚠️ 关键注意事项：

nth-of-type(2) 依据的是 HTML 中标签类型与位置，而非 class 名重复次数，因此即使第一个 count-wrap 多了一个 one 类（class="count-wrap one"），它仍是第一个 div.count-wrap，第二个 div.count-wrap 仍被正确选中；
务必添加 .get_text(strip=True) 或 .text.strip() 清除首尾空白与换行；
强烈建议加入非空判断（如 if bcard_OngoingProjs:），避免因页面结构临时变动导致 AttributeError；

若需更高可维护性，可结合

 的文本内容做语义化匹配（如查找包含 "Ongoing Projects" 的 lbl 旁的 val），但 CSS 定位在此场景下更简洁高效。完整整合示例：
from bs4 import BeautifulSoup
import requests

main_url = "https://www.proptiger.com/bangalore/all-builders?page=1"
response = requests.get(main_url)
response.raise_for_status()  # 确保请求成功
soup = BeautifulSoup(response.text, "html.parser")

for bcard in soup.find_all('div', class_='b-card'):
    # 提取公司名称
    name_tag = bcard.find('div', class_='builder-details-wrap')
    company_name = name_tag.a.get_text(strip=True) if name_tag and name_tag.a else "N/A"

    # 提取总项目数（第一个 count-wrap）
    total_val = bcard.select_one('div.count-wrap:nth-of-type(1) div.circle div.val')
    total_projects = total_val.get_text(strip=True) if total_val else "N/A"

    # 提取在建项目数（第二个 count-wrap）
    ongoing_val = bcard.select_one('div.count-wrap:nth-of-type(2) div.circle div.val')
    ongoing_projects = ongoing_val.get_text(strip=True) if ongoing_val else "N/A"

    print(f"公司：{company_name} | 总项目：{total_projects} | 在建项目：{ongoing_projects}")
该方法兼顾准确性、可读性与容错性，是处理多实例同级结构的首选实践。