如何在 C# 中使用 POST 和 GET 请求验证 Web 抓取？

C# 网页抓取身份验证：POST 和 GET 请求实用指南

网页抓取受保护的网站需要用户身份验证。本指南详细介绍了如何使用 C# 登录网站，绕过高级库的典型限制。 我们将重点关注使用 WebRequest 和 WebResponse 来精确控制 HTTP 请求。

先决条件：

• 需要登录才能访问内容的网站。
• 熟悉 C# 编程和网页抓取基础知识。

实施步骤：

身份验证涉及两个关键步骤：

1. 发布登录凭据：

   • 构建登录 URL 并正确编码表单参数（用户名、密码）。
   • 使用 POST 方法、内容类型（“application/x-www-form-urlencoded”）和数据长度配置 WebRequest。
   • 发送包含编码表单数据的 POST 请求。
   • 从响应的“Set-Cookie”标头中提取身份验证 cookie。这个cookie对于后续请求至关重要。

2. 获取受保护的内容：

   • 为受保护页面创建WebRequest。
   • 将步骤1中获得的身份验证cookie添加到请求标头中。
   • 服务器验证 cookie，授予对受保护资源的访问权限。
   • 使用StreamReader检索并处理页面的HTML源代码。

代码示例：

此示例演示登录和检索受保护的页面：

string loginUrl = "http://www.mmoinn.com/index.do?PageModule=UsersAction&Action=UsersLogin";
string loginParams = string.Format("email_address={0}&password={1}", "your email", "your password");
string cookieHeader;

WebRequest loginRequest = WebRequest.Create(loginUrl);
loginRequest.ContentType = "application/x-www-form-urlencoded";
loginRequest.Method = "POST";
byte[] data = Encoding.ASCII.GetBytes(loginParams);
loginRequest.ContentLength = data.Length;

using (Stream requestStream = loginRequest.GetRequestStream())
{
    requestStream.Write(data, 0, data.Length);
}

WebResponse loginResponse = loginRequest.GetResponse();
cookieHeader = loginResponse.Headers["Set-cookie"];

string protectedPageUrl = "http://www.mmoinn.com/protected_page.html";
WebRequest protectedRequest = WebRequest.Create(protectedPageUrl);
protectedRequest.Headers.Add("Cookie", cookieHeader);

WebResponse protectedResponse = protectedRequest.GetResponse();
using (StreamReader reader = new StreamReader(protectedResponse.GetResponseStream()))
{
    string pageSource = reader.ReadToEnd();
    // Process the protected page's HTML
}

此代码说明了完整的身份验证过程：发送 POST 请求、检索 cookie，并使用该 cookie 通过 GET 请求访问受保护的内容。 请记住将 "your email" 和 "your password" 替换为实际凭据。 应该为健壮的应用程序添加错误处理（例如，无效凭据）。

以上是如何在 C# 中使用 POST 和 GET 请求验证 Web 抓取？的详细内容。更多信息请关注PHP中文网其他相关文章！