Comment puis-je utiliser C# pour me connecter à un site Web pour le Web Scraping ?

Utilisez C# pour la connexion au site Web afin de réaliser l'exploration du Web

Présentation

Le Web scraping rencontre souvent des défis lorsqu'un site Web nécessite une connexion utilisateur. Cet article montre comment utiliser C# pour vous connecter au site Web par programmation en vue d'une exploration Web ultérieure.

Fonction de connexion

Pour simuler la connexion, nous POSTONS les données du formulaire sur le formulaire de connexion. Dans cet exemple, nous utilisons l'URL spécifiée par l'attribut "action" du formulaire.

<code class="language-csharp">string formUrl = "http://www.mmoinn.com/index.do?PageModule=UsersAction&Action=UsersLogin";
string formParams = string.Format("email_address={0}&password={1}", "您的邮箱", "您的密码");
byte[] bytes = Encoding.ASCII.GetBytes(formParams);</code>

Nous créons ensuite une requête Web pointant vers l'URL du formulaire et définissons la méthode HTTP sur "POST".

<code class="language-csharp">WebRequest req = WebRequest.Create(formUrl);
req.ContentType = "application/x-www-form-urlencoded";
req.Method = "POST";
req.ContentLength = bytes.Length;
using (Stream os = req.GetRequestStream())
{
    os.Write(bytes, 0, bytes.Length);
}</code>

Le serveur renverra un en-tête "Set-cookie", que nous capturons pour les requêtes ultérieures.

Accéder au contenu après la connexion

Maintenant que nous sommes connectés, nous pouvons accéder à la page protégée à l'aide d'une requête GET. Nous ajoutons l'en-tête "Cookie" à la requête GET pour nous identifier auprès du serveur.

<code class="language-csharp">string pageUrl = "登录页面后的页面URL";
WebRequest getRequest = WebRequest.Create(pageUrl);
getRequest.Headers.Add("Cookie", cookieHeader);
WebResponse getResponse = getRequest.GetResponse();
using (StreamReader sr = new StreamReader(getResponse.GetResponseStream()))
{
    pageSource = sr.ReadToEnd();
}</code>

En suivant ces étapes, vous pouvez vous connecter par programmation à un site Web et accéder à son contenu protégé pour le web scraping.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!