本文介绍如何绕过前端 javascript 渲染限制，直接抓取 mathworks radar toolbox 模块文档的原始 xml 数据源，准确提取“radar toolbox — blocks”下的全部功能模块名称与对应 html 链接。

本文介绍如何绕过前端 javascript 渲染限制，直接抓取 mathworks radar toolbox 模块文档的原始 xml 数据源，准确提取“radar toolbox — blocks”下的全部功能模块名称与对应 html 链接。

MathWorks 官方文档（如 ）表面上呈现为静态 HTML 页面，但实际内容（尤其是模块列表）并非内嵌于主 HTML 中，而是通过 AJAX 异步加载外部 XML 文件（referencelist_block_cat.xml）后由前端 JavaScript 动态注入 DOM。因此，使用 requests_html 的 arender() 方法仍无法获取该内容——因为渲染依赖完整浏览器环境（如真实 DOM 事件、XMLHTTP 请求权限等），而 requests_html 的底层 Pyppeteer/Playwright 支持有限，且未自动执行跨域 XML 请求逻辑。

根本解决方案：跳过渲染，直连数据源

MathWorks 将模块分类与链接结构以 XML 格式托管在可公开访问的地址：

https://www.mathworks.com/help/radar/referencelist_block_cat.xml

该 XML 使用自定义命名空间 cat:（代表 category），结构清晰，包含 元素及其子 节点，每个 的 target 属性即为相对路径，拼接基础域名即可生成完整文档链接。

PaperAiBye

一款AI论文写作工具，主要用于支持近30多种语言降ai降重，并且支持多种语言免费测句子的ai率，支持英文aigc报告等，适合需要提升相关任务效率的用户。

下载

以下为推荐的稳定、高效实现方式（基于 requests + BeautifulSoup）：

import requests
from bs4 import BeautifulSoup

# 直接请求原始 XML 数据源
xml_url = "https://www.mathworks.com/help/radar/referencelist_block_cat.xml"
response = requests.get(xml_url)
response.raise_for_status()  # 确保请求成功

soup = BeautifulSoup(response.content, "xml")

# 查找所有包含 <ref> 子节点的 <cat> 元素（即有模块的分类）
for category in soup.select("cat:has(ref)"):
    # 提取分类标题
    title_elem = category.find("title")
    if title_elem and title_elem.text.strip():
        print(f"? {title_elem.text.strip()}")
        print("-" * 50)

    # 遍历该分类下所有模块引用
    for ref in category.select("ref"):
        name = ref.text.strip()[:40] + "..." if len(ref.text.strip()) > 40 else ref.text.strip()
        target = ref.get("target", "").strip()
        if target:
            full_url = f"https://www.mathworks.com/help/radar/{target}"
            print(f"{name:<p>✅ <strong>优势说明</strong>：</p>
<ul>
<li>
<strong>零渲染开销</strong>：避免启动浏览器、等待 JS 执行、处理超时等问题；</li>
<li>
<strong>高稳定性</strong>：XML 接口是 MathWorks 内部维护的结构化数据源，比 HTML 页面更可靠；</li>
<li>
<strong>精准定位</strong>：无需猜测 DOM 结构或等待特定 ID（如 #reflist_content），直接按语义解析；</li>
<li>
<strong>易扩展</strong>：可轻松添加过滤（如按 target 后缀 .html 筛选）、去重、导出 CSV/JSON 等。</li>
</ul>
<p>⚠️ <strong>注意事项</strong>：</p>
<ul>
<li>请遵守 robots.txt 及 MathWorks 的 <a href="https://www.php.cn/link/4eea9621afdad9f067e12d281b84f316" rel="nofollow" target="_blank">Terms of Use</a>，建议添加合理请求间隔（如 time.sleep(1)）；</li>
<li>若需批量抓取大量文档页，建议先缓存 XML 响应，避免重复请求；</li>
<li>BeautifulSoup 解析 XML 需指定解析器为 "xml"（依赖 lxml 或 xml.etree.ElementTree），安装命令：pip install lxml；</li>
<li>若遇到 403 Forbidden，可尝试添加 headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"} 模拟常规浏览器请求。</li>
</ul>
<p>通过此方法，你将获得完整、结构化的 Radar Toolbox 模块清单，适用于自动化文档索引、API 对接或离线查阅场景。</p></cat></ref>