
本文介绍当目标html元素由javascript动态生成、无id或class时,无法通过标准dom方法获取,应改用正则表达式直接解析xmlhttp返回的原始响应文本,精准提取json格式嵌入的价格字段。
本文介绍当目标html元素由javascript动态生成、无id或class时,无法通过标准dom方法获取,应改用正则表达式直接解析xmlhttp返回的原始响应文本,精准提取json格式嵌入的价格字段。
在VBA中抓取网页数据时,一个常见误区是假设所有HTML内容均可通过HTMLDocument对象的DOM方法(如getElementsByClassName或querySelectorAll)直接访问。然而,Royal Mint等现代网站大量依赖JavaScript动态渲染关键内容(例如商品价格),这意味着:服务器返回的原始HTML中并不包含最终显示的价格标签,而是由前端脚本从内联JSON或API响应中注入。因此,HTMLdoc.body.innerHTML = XMLpage.responseText后,你看到的DOM树里根本不存在.d-none.d-md-block.mb-0对应的真实价格节点——它尚未被浏览器执行JS生成。
此时,强行遍历
标签或依赖CSS类名将失败(正如你的调试输出所示:仅第6个
元素有该class,但其内容并非价格)。正确路径是绕过DOM解析,直接在原始响应文本(responseText)中定位价格数据源。
观察Royal Mint页面源码可发现,价格通常以JSON片段形式嵌入HTML,例如:
<script type="application/ld+json">{"@context":"https://schema.org","@type":"Product","name":"1826 George IV Proof Half Sovereign","price":"2,450.00","priceCurrency":"GBP",...}</script>
或更简化的内联模式:"price":"2,450.00"。
以下为推荐解决方案——使用VBScript正则引擎高效提取:
Public Function GetRoyalMintPrice() As Variant
Dim XMLpage As Object, Rxp As Object
Dim strURL As String, response As String
Dim matches As Object
Set XMLpage = CreateObject("MSXML2.XMLHTTP60")
Set Rxp = CreateObject("VBScript.RegExp")
strURL = "https://www.royalmint.com/sovereign/all/1826-George-IV-Proof-Half-Sovereign/"
' 关键:添加User-Agent头,避免部分网站拒绝无头请求
XMLpage.Open "GET", strURL, False
XMLpage.setRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
XMLpage.send
If XMLpage.Status 200 Then
GetRoyalMintPrice = "HTTP Error: " & XMLpage.Status
Exit Function
End If
response = XMLpage.responseText
With Rxp
.Global = True
.MultiLine = True
.IgnoreCase = True
' 匹配 price":"后的任意非引号字符,直到下一个双引号
.Pattern = """price""\s*:\s*""([^""]+)"""
Set matches = .Execute(response)
End With
If matches.Count > 0 Then
' 返回首个匹配的价格值(已自动去除双引号)
GetRoyalMintPrice = matches(0).SubMatches(0)
Else
GetRoyalMintPrice = "Price not found in response"
End If
End Function
✅ 关键注意事项:
- 永远检查HTTP状态码:XMLpage.Status = 200 是后续处理的前提;
- User-Agent头不可省略:多数现代网站会拦截无UA的请求,返回403或空内容;
- 正则需兼顾格式变体:上述模式"""price""\s*:\s*""([^""]+)"""能匹配"price":"2,450.00"或"price" : "1999.99"等空格差异;
- 避免过度依赖HTML结构:动态站点的DOM随时可能重构,而内联JSON字段相对稳定;
- 错误处理必须完备:网络超时、DNS失败、目标字段缺失均需明确返回值,防止调用方崩溃。
此方法虽非“纯DOM”方案,却是应对JavaScript渲染内容最可靠、轻量且兼容性最佳的VBA实践。











