c#如何实现数据抓取_c#数据抓取的5种方式-C#.Net教程-PHP中文网

HttpClient适用于简单HTTP请求，需复用实例并设超时；JS渲染页面用PuppeteerSharp；解析HTML用HtmlAgilityPack；定时任务用IHostedService；高频采集需应对反爬。

c#如何实现数据抓取_c#数据抓取的5种方式

用 `HttpClient` 抓取网页内容最常用也最可控

绝大多数简单 HTTP 请求场景下，HttpClient 是首选。它支持异步、可复用、能设超时和自定义头，比已过时的 WebClient 更可靠。

常见错误是每次请求都新建 HttpClient 实例，导致 socket 耗尽。正确做法是全局复用一个静态实例或通过 DI 注入：

private static readonly HttpClient _httpClient = new HttpClient
{
    Timeout = TimeSpan.FromSeconds(10)
};

记得设置 Timeout，否则默认是无穷等待
若需携带 Cookie 或登录态，用 HttpClientHandler 配置 CookieContainer
抓取含 JavaScript 渲染的页面时，HttpClient 只能拿到原始 HTML，无法执行 JS

处理 JavaScript 渲染页面得用 `PuppeteerSharp`

当目标页面依赖前端框架（如 Vue/React）动态加载数据，或需要模拟点击、滚动、输入等交互行为，纯 HTTP 请求就失效了。

PuppeteerSharp 是 C# 版 Puppeteer，底层驱动 Chromium，适合这类场景：

using var browser = await Puppeteer.LaunchAsync(new LaunchOptions { Headless = true });
using var page = await browser.NewPageAsync();
await page.GoToAsync("https://example.com");
var content = await page.GetContentAsync();

首次运行会自动下载 Chromium，耗时且体积大（约 150MB），建议预装或指定本地路径
内存占用高，不适合高频短时调用；长期运行需注意 browser 和 page 的释放
不支持 .NET Framework，仅限 .NET Core 3.1+ / .NET 5+

解析 HTML 别手写正则，用 `HtmlAgilityPack`

拿到 HTML 字符串后，用正则提取标签内容极易出错——嵌套、转义、大小写、空格都会让表达式崩溃。

"避开 C# 常见错误——空陷阱、异步陷阱、LINQ 陷阱及资源泄漏。"

下载

HtmlAgilityPack 提供 DOM 式遍历，稳定且语义清晰：

var htmlDoc = new HtmlDocument();
htmlDoc.LoadHtml(htmlString);
var titles = htmlDoc.DocumentNode.SelectNodes("//h2[@class='title']")
    ?.Select(n => n.InnerText.Trim())
    .ToList();

XPath 语法支持有限，不支持 :nth-child 等 CSS 伪类，复杂选择器得降级为多步遍历
对严重 malformed 的 HTML（如未闭合标签）容错强，但解析速度比原生 XML 解析器慢
若只提取 JSON 数据（如页面内 <script>window.__DATA__ = {...}</script>），直接用 Regex 匹配字符串反而更轻量