HttpClient 是当前最稳妥的网页抓取选择，因 WebClient 已过时且缺乏精细控制；需复用实例、设置超时与 User-Agent；解析用 HtmlAgilityPack；应对反爬应限流而非盲目换代理。
用 HttpClient 抓网页内容比 WebClient 更可靠
直接用 HttpClient 是当前最稳妥的选择，WebClient 已被标记为过时，且在 .NET Core/.NET 5+ 中默认不支持同步方法，容易卡死或抛出 NotSupportedException。它还无法精细控制超时、重试、请求头和 Cookie 容器。
实操建议：
- 始终复用单个
HttpClient实例（例如注入为 Singleton），避免 socket 耗尽；不要每次请求都 new 一个 - 设置
Timeout（如TimeSpan.FromSeconds(10)），否则默认是 100 秒，爬取慢站会拖垮整个任务 - 手动添加
User-Agent请求头，否则很多网站返回 403 —— 示例：client.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36") - 若需维持登录态，用
HttpClientHandler配合CookieContainer，而不是靠自己拼 Cookie 字符串
解析 HTML 别硬写正则，用 HtmlAgilityPack
正则匹配 HTML 是高危操作：标签嵌套、属性顺序、换行缩进、注释、CDATA 段都会让表达式失效。哪怕只是提取几个 ，也推荐用 HtmlAgilityPack（NuGet 包名同名）。
常见问题与应对：
- 加载后
DocumentNode.SelectNodes("//a[@href]")返回 null？先检查doc.ParseErrors.Count == 0，再确认是否用了LoadHtml()而非Load()（后者读文件路径） - 中文乱码？不是编码问题就是服务器没返回
Content-Type，需手动指定编码：htmlDoc.Load(htmlString, Encoding.UTF8) - 遇到 JS 渲染的内容（比如 Vue/React 动态列表）？
HtmlAgilityPack读不到，得换 PuppeteerSharp 或 Playwright，但代价是启动 Chromium 进程，别轻量爬虫里滥用
遇到 429、503 或 IP 被封？别急着换代理
多数情况不是封 IP，而是触发了反爬频率策略。状态码 429 Too Many Requests 和 503 Service Unavailable 往往说明服务端有速率限制，而非彻底拉黑。
优先排查和调整：
- 检查请求间隔：连续请求之间加
await Task.Delay(1000)，别用Thread.Sleep阻塞线程 - 确认是否带了
Referer头 —— 某些站点校验 Referer，空值或错值直接拒收 - 观察响应头是否有
X-RateLimit-Remaining或Retry-After，按提示休眠 - 代理不是万能解药：免费代理大多失效快、延迟高、TLS 握手失败率高；真要上代理，用
HttpClientHandler.Proxy配置，别改WebProxy全局设置
异步任务堆积导致内存暴涨或崩溃
用 Task.Run 包一堆 await GetAsync 看似并行，实际可能瞬间发起几百个请求，耗尽连接池、撑爆 GC、触发 DNS 超时，最终抛出 HttpRequestException 或 OutOfMemoryException。
正确做法是控并发：
- 用
SemaphoreSlim限流，例如最多同时 5 个请求：await semaphore.WaitAsync(); try { /* 请求 */ } finally { semaphore.Release(); } - 避免
Task.WhenAll(urls.Select(url => FetchAsync(url)))这种无节制写法；改用Partition分批 + 串行处理 - 注意
HttpClient的MaxConnectionsPerServer默认只有 2（旧版）或 100（新版本），可通过HttpClientHandler.MaxConnectionsPerServer调整，但不能高于系统限制
真正难的不是发请求，是判断哪个环节在假死：是 DNS 解析卡住？TCP 连接被 RST？还是远端 TLS 握手失败？这些往往藏在 InnerException 里，别只看外层异常消息。
