如何高效爬取《史密斯圣经词典》中希伯来人名释义-html教程-PHP中文网

如何高效爬取《史密斯圣经词典》中希伯来人名释义

本文介绍使用 python（requests + beautifulsoup）批量抓取 biblestudytools 网站中《史密斯圣经词典》对希伯来人名的定义，重点解决动态匹配目标文本、规避单次 `find()` 仅返回首个 `` 标签的局限，并确保字典结构化存储。

在爬取《史密斯圣经词典》（Smith’s Bible Dictionary）中人名释义时，原始代码存在两个关键问题：一是 soup.find('i') 仅返回第一个 标签，而实际定义往往散落在多个元素中（如解释性短语、引文、拉丁术语等）；二是硬编码匹配特定字符串（如 'a teacher, or lofty'）无法泛化到不同人名——每个名字对应的释义内容各不相同，无法预设。

正确做法是：先定位所有 标签，再逐个检查其文本是否包含与当前人名语义相关的上下文线索。但需注意：直接用 name in i.text（如 'aaron' in i.text）并不可靠——因为 内容通常是释义本身（如 "a teacher, or lofty"），而非重复人名。更稳健的策略是：定位定义段落的结构特征。

观察目标页面（如 aaron.html）可知，释义通常位于

内，且首段

或首个 往往承载核心定义。因此推荐以下增强版方案：

import requests
from bs4 import BeautifulSoup

smiths_names = {}
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"}

for name in test:
    url = f"https://www.biblestudytools.com/dictionaries/smiths-bible-dictionary/{name.lower()}.html"
    try:
        page = requests.get(url, headers=headers, timeout=10)
        page.raise_for_status()
        soup = BeautifulSoup(page.content, 'html.parser')

        # 优先查找 entry-content 区域内的首个 <i> 或 </i><p> 文本
        content_div = soup.find('div', class_='entry-content')
        if not content_div:
            print(f"[⚠] {name}: 'entry-content' div not found")
            continue

        # 尝试获取首个 <i> 标签的纯文本（最常见定义位置）
        first_i = content_div.find('i')
        if first_i and first_i.get_text(strip=True):
            meaning = first_i.get_text(strip=True)
        else:
            # 回退：取首个 </i></p><p> 的文本（去除可能的脚注链接）
            first_p = content_div.find('p')
            if first_p:
                # 移除内部 <a> 标签避免干扰（如引用经文链接）
                for a in first_p.find_all('a'):
                    a.decompose()
                meaning = first_p.get_text(strip=True)
            else:
                print(f"[!] {name}: no <i> or </i><p> found in entry-content")
                continue

        # 清理：移除开头可能的冗余前缀（如 "Aaron.—"）
        meaning = meaning.split("—", 1)[-1].strip() if "—" in meaning else meaning
        smiths_names[name] = meaning
        print(f"[✓] {name}: {meaning[:60]}...")

    except requests.exceptions.RequestException as e:
        print(f"[✗] Request failed for {name}: {e}")
    except Exception as e:
        print(f"[✗] Parsing error for {name}: {e}")

print(f"\n✅ Total scraped: {len(smiths_names)}/{len(test)}")</p></a></p>

关键优化点说明：

Connect Claude Code to Apple apps and tmux with Claude Apple Bridges

为Claude Code提供对提醒事项、日历、联系人、笔记、邮件和tmux的本地命令访问权限，以便在macOS上进行工作流感知的个人操作。

下载

✅ 结构化定位：通过 class_='entry-content' 锁定主内容区，避免误抓页眉/导航栏中的；
✅ 回退机制：当 为空时，自动降级提取
并清理内嵌链接，提升鲁棒性；
✅ 文本清洗：使用 strip() 去除首尾空白，用 split("—", 1) 剔除标题式前缀（如 Aaron.—A teacher... → A teacher...）；
✅ 请求头与超时：添加 User-Agent 防止被拦截，设置 timeout 避免卡死；
✅ 异常分级处理：区分网络错误与解析错误，便于调试。