C#怎么解析HTML网页_C# HtmlAgilityPack爬虫抓取数据【实用】-C#.Net教程-PHP中文网

htmlagilitypack解析html需先校验documentnode非空、html结构完整及编码正确；xpath应避免精确匹配class，改用contains；须移除script/style节点防乱码；远程加载需显式设置编码。

c#怎么解析html网页_c# htmlagilitypack爬虫抓取数据【实用】

直接用 HtmlAgilityPack 解析 HTML 是可行的，但不加防护地调用 SelectNodes() 或 SelectSingleNode() 会高频崩溃——最常见原因是 DocumentNode 为 null，而不是 HTML 写得不对。

这不是解析失败，而是你传了空、null、网络错误响应或无根节点的 HTML 片段。它不会抛异常，只会让 DocumentNode == null，后续所有节点操作都崩。

永远在解析后加判断：if (doc.DocumentNode == null) throw new InvalidOperationException("HTML is empty or malformed");
用 LoadHtml(htmlString?.Trim()) 前先校验：string.IsNullOrWhiteSpace(htmlString)
从 HttpClient 拿内容后，别直接丢给 LoadHtml()：先检查 response.IsSuccessStatusCode 和 html?.Length > 0
解析纯片段（比如只有 <div>xxx</div>）时，手动包裹一层：html = $"{html}";

XPath 表达式本身没错，但 HTML 不是 XML：class 属性可能含多个值、引号不统一、大小写混用，甚至根本没引号——HtmlAgilityPack 能容错解析，但 XPath 查询引擎不会帮你“猜”语义。

Html2md

使用 Readability + Turndown 将 HTML 页面转换为干净的、Agent 友好的 Markdown。去除导航栏、广告、页脚、Cookie 横幅、社交按钮等干扰元素。支持 URL...

下载

别依赖 @class='content'，改用 contains(@class, 'content')；但注意误匹配（如 'highlighted' 也会被 contains(@class, 'light') 命中）
要精准匹配多 class，先用 GetAttributeValue("class", "") 取出字符串，再用 .Split().Contains("content") 判断
SelectNodes() 不支持 CSS 选择器，"div.content" 会静默返回 null，必须写成 "//div[contains(@class, 'content')]"
调试时立刻输出 doc.DocumentNode.OuterHtml.Substring(0, 500)，确认实际 DOM 结构是否和你看到的浏览器源码一致

InnerText 是按 DOM 树遍历文本节点，不区分语义——<script>alert('x')</script> 里的字符串照样算“文本”。中文乱码则几乎全是编码没对齐导致的。

提取前先移除无关节点：doc.DocumentNode.SelectNodes("//script | //style")?.ToList().ForEach(n => n.Remove());
用 HtmlWeb 加载远程 URL 时，必须设 web.OverrideEncoding = Encoding.UTF8;，否则默认按系统编码（如 GB2312）解码 UTF-8 字节流
用 LoadHtml() 时，确保输入的 string 已是正确解码后的结果；若原始是 byte[]，请先用 Encoding.UTF8.GetString(bytes)
PreserveWhitespace = true 会影响换行和缩进显示，有时看起来像“丢字”，其实是空白字符被保留后渲染异常