本文介绍一种绕过 javascript 动态渲染、直接调用 ibm 官方文档 api 获取完整目录树的方法，避免使用 selenium 等重量级工具，大幅提升爬取效率与稳定性。
本文介绍一种绕过 javascript 动态渲染、直接调用 ibm 官方文档 api 获取完整目录树的方法，避免使用 selenium 等重量级工具，大幅提升爬取效率与稳定性。
IBM 官方文档站点（如 https://www.php.cn/link/116dc4b9cd1faf32bc3bb9d47be29a22）采用前端动态加载技术，左侧导航栏由 JavaScript 控制展开/折叠，传统 BeautifulSoup 无法直接解析隐藏内容。若强行使用 Selenium 模拟点击逐层展开，不仅开发复杂、运行缓慢，还易因 DOM 变更或反自动化策略失败。
幸运的是，IBM 文档系统提供了公开的 RESTful 目录 API，可直接获取结构化 JSON 数据，完全规避前端渲染问题。该 API 地址格式为：
https://www.ibm.com/docs/api/v1/toc/{product}/{version}?lang={lang}
例如目标文档对应 URL 为：
https://www.ibm.com/docs/api/v1/toc/b2b-integrator/6.1.0?lang=en
以下是一段轻量、可靠、可复用的 Python 实现：
import json
import requests
def fetch_and_print_toc(product="b2b-integrator", version="6.1.0", lang="en"):
"""获取并递归打印 IBM 文档目录树"""
api_url = f"https://www.ibm.com/docs/api/v1/toc/{product}/{version}?lang={lang}"
try:
response = requests.get(api_url, timeout=10)
response.raise_for_status()
data = response.json()
def traverse(node, level=0):
indent = "\t" * level
label = node.get("label", "Untitled")
href = node.get("href", "")
print(f"{indent}{label} -> {href}")
# 递归遍历子主题
for child in node.get("topics", []):
traverse(child, level + 1)
# 从根节点 toc 开始遍历
if "toc" in data:
traverse(data["toc"])
else:
print("Unexpected API response structure:", json.dumps(data, indent=2)[:200])
except requests.exceptions.RequestException as e:
print(f"请求失败: {e}")
except json.JSONDecodeError as e:
print(f"JSON 解析错误: {e}")
# 调用示例
fetch_and_print_toc()
✅ 优势总结：
- ✅ 零浏览器依赖：无需安装 ChromeDriver 或配置 Selenium；
- ✅ 毫秒级响应：API 返回纯 JSON，比渲染页面快 10 倍以上；
- ✅ 结构清晰：label（标题）、href（相对路径）、topics（嵌套子项）字段语义明确；
- ✅ 易于扩展：可轻松导出为 Markdown、CSV 或存入数据库；支持批量抓取多版本/多产品文档。
⚠️ 注意事项：
- 请遵守 robots.txt 及 IBM 官网《使用条款》，建议添加 User-Agent 头并控制请求频率；
- href 字段为相对路径，拼接基础域名后即可构成完整 URL（如 https://www.ibm.com/docs/en/ + SS3JSW_6.1.0/ReleaseNotes.html）；
- 若需抓取页面正文内容，可在获取所有 href 后，对每个 URL 发起独立 GET 请求（仍推荐 requests + BeautifulSoup 组合，而非 Selenium）；
- 部分旧版文档可能未开放 API，此时再考虑 Puppeteer/Selenium 方案作为备选。
该方法体现了现代网页抓取的核心原则：优先寻找结构化数据源，而非硬啃渲染结果。对于 IBM、Red Hat、Microsoft Docs 等大型技术文档站，其后台 API 往往是更优雅、更可持续的解决方案。
