本文介绍一种无需 selenium 或 rpa 的轻量级方案：直接调用 ibm 文档公开的 rest api 获取完整、结构化的目录树（toc），并递归解析所有标题与 url，大幅提升爬取效率与稳定性。
本文介绍一种无需 selenium 或 rpa 的轻量级方案：直接调用 ibm 文档公开的 rest api 获取完整、结构化的目录树（toc），并递归解析所有标题与 url，大幅提升爬取效率与稳定性。
IBM 官方文档（如 Sterling B2B Integrator 6.1.0）虽采用 JavaScript 动态渲染左侧导航栏，但其底层数据实际通过标准化的 JSON API 提供——这正是高效爬取的关键突破口。相比依赖浏览器自动化（如 Selenium）模拟点击展开折叠菜单，直接请求 https://www.ibm.com/docs/api/v1/toc/{product}/{version}?lang=en 接口可一次性获取完整、嵌套式的目录结构（TOC），避免渲染开销、反爬拦截及不稳定交互。
以下是一个完整的 Python 示例脚本，支持递归遍历任意层级的目录节点，并提取每个条目的标题（label）与链接（href）：
import json
import requests
def print_topics(obj, level=0):
"""递归打印目录树，支持 dict（节点）和 list（子节点列表）两种类型"""
indent = "\t" * level
if isinstance(obj, dict):
label = obj.get("label", "Untitled")
href = obj.get("href", "")
print(f"{indent}{label} -> {href}")
# 递归处理子主题
for child in obj.get("topics", []):
print_topics(child, level + 1)
elif isinstance(obj, list):
for item in obj:
print_topics(item, level)
# 目标文档 API 地址（版本与语言可按需调整）
doc_api_url = "https://www.ibm.com/docs/api/v1/toc/b2b-integrator/6.1.0?lang=en"
try:
response = requests.get(doc_api_url, timeout=10)
response.raise_for_status()
toc_data = response.json()
# 输出完整目录结构（可选：保存为 JSON 文件用于后续分析）
# with open("ibm_b2bi_toc.json", "w", encoding="utf-8") as f:
# json.dump(toc_data, f, indent=2, ensure_ascii=False)
print("IBM Sterling B2B Integrator v6.1.0 目录结构：\n")
print_topics(toc_data.get("toc", {}))
except requests.exceptions.RequestException as e:
print(f"请求失败：{e}")
except json.JSONDecodeError as e:
print(f"JSON 解析错误：{e}")
✅ 优势总结：
- 零前端依赖：不启动浏览器，无 JavaScript 渲染负担；
- 结构化强：返回纯 JSON，天然支持递归、筛选、导出为 CSV/Markdown 等；
- 稳定可靠：API 由 IBM 官方维护，比 DOM 解析更抗页面改版；
- 可扩展性高：轻松适配其他 IBM 产品文档（只需替换 URL 中的 product 和 version）。
⚠️ 注意事项：
- 请遵守 robots.txt 及 IBM 官网的 Terms of Use；建议添加 User-Agent 头并控制请求频率；
- 部分 href 值可能为空（如分类标题），实际抓取正文时需过滤空链接；
- 若需下载 HTML 内容，可基于提取出的 href 拼接完整 URL（通常为相对路径，基础域为 https://www.ibm.com/docs/en/b2b-integrator/6.1.0/）。
掌握这一模式后，你不仅能高效获取 IBM 文档全量导航，还可将其泛化为通用“静态文档站 API 爬取范式”——优先探测 /api/, /toc/, /sitemap.json 等常见端点，往往比硬啃动态 DOM 更优雅、更可持续。
