PHP utilise Curl pour implémenter des exemples de fonctions de connexion simulée et de capture de données

Cet article présente principalement l'utilisation de Curl par PHP pour implémenter des fonctions de connexion simulée et de capture de données. Il analyse l'utilisation de curl par PHP pour la connexion, la vérification, le fonctionnement des cookies et la capture de données et d'autres techniques d'implémentation associées sous forme d'exemples. peut s'y référer. Suivant

L'exemple de cet article décrit comment PHP utilise Curl pour simuler les fonctions de connexion et de capture de données. Partagez-le avec tout le monde pour votre référence, les détails sont les suivants :

L'utilisation de la bibliothèque d'extensions Curl de PHP peut simuler la connexion et capturer certaines données qui ne peuvent être consultées qu'après s'être connecté avec un compte utilisateur. Le processus spécifique de mise en œuvre est le suivant (résumé personnel) :

1. Tout d'abord, vous devez analyser le code source html de la page de connexion correspondante pour obtenir certaines informations nécessaires :

(1) L'adresse de la page de connexion ;

(2) Adresse du code de vérification

(3) Le nom et la méthode de soumission de chaque champ qui doit être soumis dans le formulaire de connexion ; > (4) Soumission du formulaire de connexion L'adresse ;

(5) De plus, vous devez connaître l'adresse des données à capturer.

2. Obtenez un cookie et stockez (pour les sites Web qui utilisent des fichiers cookies) :

$login_url = 'http://www.xxxxx';  //登录页面地址
$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $login_url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);
curl_exec($ch);
curl_close($ch);

3. Obtenez le code de vérification et stockez ( Pour les sites Web qui utilisent des codes de vérification :

$verify_url = "http://www.xxxx";   //验证码地址
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $verify_url);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$verify_img = curl_exec($ch);
curl_close($ch);
$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存
fwrite($fp, $verify_img);
fclose($fp);

Remarque :

Parce que le code de vérification ne peut pas être reconnu , donc ce que je fais ici est de capturer l'image du code de vérification et de la stocker dans un fichier local, puis de l'afficher sur la page html de mon projet, de laisser l'utilisateur la remplir, d'attendre que l'utilisateur remplisse le numéro de compte, mot de passe et code de vérification, puis cliquez sur Cliquez sur le bouton Soumettre avant de passer à l'étape suivante.

4. Simuler la soumission du formulaire de connexion :

$ post_url = 'http://www.xxxx';   //登录表单提交地址
$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $ post_url);
curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
curl_exec($ch);
curl_close($ch);

5. Capturer les données :

$data_url = "http://www.xxxx";   //数据所在地址
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $data_url);
curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
$data = curl_exec($ch);
curl_close($ch);

Jusqu'à présent, la page où se trouvent les données a été capturée et stockée dans la variable chaîne $data.

Il convient de noter que ce qui est capturé est le code source html d'une page Web, ce qui signifie que cette chaîne contient non seulement les données que vous souhaitez, mais contient également de nombreuses balises html et d'autres éléments que vous ne souhaitez pas. veux. chose. Ainsi, si vous souhaitez extraire les données dont vous avez besoin, vous devez analyser le code HTML de la page où les données sont stockées, puis combiner des fonctions de manipulation de chaînes, une correspondance régulière et d'autres méthodes pour extraire les données souhaitées.

La méthode ci-dessus est efficace pour les sites Web généraux utilisant le protocole http. Mais si vous souhaitez simuler la connexion à un site Web qui utilise le protocole https, vous devez ajouter le traitement suivant :

1 Ignorer la vérification https :

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);

2. Utilisez l'agent utilisateur :

$UserAgent = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; .NET CLR 3.0.04506; .NET CLR 3.5.21022; .NET CLR 1.0.3705; .NET CLR 1.1.4322)';
curl_setopt($curl, CURLOPT_USERAGENT, $UserAgent);

Remarque :

Si vous n'ajoutez pas ces processus, simuler la connexion Cela ne peut pas réussir.

L'utilisation du programme ci-dessus pour simuler la connexion à un site Web est généralement réussie, mais en fait, elle doit encore être prise en compte en fonction des circonstances spécifiques du site Web simulé. Par exemple : certains sites Web ont des encodages différents, donc les pages que vous capturez sont tronquées. À ce stade, vous devez effectuer une conversion d'encodage, telle que : , convertir l'encodage gbk en encodage utf8. Il existe également certains sites Web ayant des exigences de sécurité relativement élevées, tels que les services bancaires en ligne, qui placeront le code de vérification dans un cadre en ligne. Dans ce cas, vous devez d'abord explorer la page du cadre en ligne, puis extraire l'adresse de la vérification. code à partir de celui-ci. Allez récupérer le code de vérification. Il existe également certains sites Web (tels que les banques en ligne) qui soumettent des formulaires en code js. Avant de soumettre le formulaire, ils effectueront également certains traitements, tels que le cryptage, etc., donc si vous le soumettez directement, vous ne pourrez pas le faire. connectez-vous avec succès. Vous devez le faire Soumettre après un traitement similaire, mais dans ce cas, si vous pouvez connaître les opérations spécifiques effectuées dans le code js, telles que le cryptage, quel est l'algorithme de cryptage, vous pouvez effectuer le même traitement que lui. , puis soumettez les données, afin que cela puisse également réussir. Cependant, voici le point clé. Si vous ne savez pas du tout quelles opérations il effectue, par exemple s'il est crypté, mais que vous ne connaissez pas l'algorithme de cryptage spécifique, vous ne pourrez pas effectuer la même opération. , et vous ne pourrez pas le simuler avec succès. Un cas typique à cet égard est la banque en ligne. Elle utilise le contrôle bancaire en ligne pour effectuer un certain traitement sur le mot de passe et le code de vérification soumis par l'utilisateur avant de soumettre le formulaire dans le code js. Cependant, nous n'avons aucune idée des opérations qu'il effectue. nous ne pouvons donc pas le simuler. Donc, si vous pensez pouvoir simuler une connexion à une banque en ligne après avoir lu cet article, vous êtes trop naïf. Pouvez-vous simuler une connexion au site Web d'une banque si facilement ? Bien sûr, si vous parvenez à contourner les contrôles bancaires en ligne, c’est une autre affaire. Cela dit, pourquoi est-ce que je ressens si profondément ? Parce que j'ai rencontré ce problème, si je n'en parle pas, je verserai des larmes si je parle trop. . .

Recommandations associées : $data = iconv("gb2312", "utf-8",$data);

php utilise Gearman pour la distribution des tâches

Comment PHP utilise l'extension zlib pour implémenter la sortie de compression GZIP

PHP utilise Nginx pour implémenter le proxy inverse

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!