Quelles bibliothèques doivent être installées pour le robot d'exploration Python ?

Quelles bibliothèques doivent être installées pour apprendre le robot d'exploration Web Python ?

Voici les bibliothèques pertinentes impliquées dans les robots d'exploration Python

Bibliothèque de requêtes, bibliothèque d'analyse, référentiel, bibliothèque d'outils

1. Bibliothèque de requêtes : urllib/re/requests

(1) urllib/re est la bibliothèque fournie avec python par défaut et peut être vérifiée par la commande suivante :

Aucun message d'erreur n'est affiché, indiquant que l'environnement est normal

(2) demande l'installation

2.1 Ouvrez CMD et saisissez les demandes d'installation pip3

2.2 Après avoir attendu l'installation, vérifiez

(3) l'installation de Selenium (pilotant le navigateur pour le comportement d'accès au site Web)

3.1 Ouvrez CMD et entrez pip3 install selenium

3.2 Installez chromedriver

Site Web : https://npm.taobao.org/

Extrayez le package compressé téléchargé et placez l'exe dans D:Python3 .6.0Scripts

Ce chemin doit uniquement être dans la variable PATH

3.3 Une fois l'installation terminée, vérifiez

puis appuyez sur Entrée pour faire apparaître l'interface du navigateur Chrome

3.4 Installer d'autres navigateurs

Navigateur sans interface phantomjs

URL de téléchargement : http://phantomjs.org /

Télécharger Une fois terminé, décompressez-le, placez le répertoire entier dans D:Python3.6.0Scripts et ajoutez le chemin du répertoire bin à la variable PATH

Vérification :

Ouvrez CMD

2. Bibliothèque d'analyse :

2.1 lxml (XPATH)

Ouvrez CMD et entrez pip3 install lxml ou téléchargez à partir de https://pypi.python.org, par exemple, lxml -4.1.1-cp36-cp36m-win_amd64.whl (md5), téléchargez d'abord le fichier whl, exécutez pip3 install sur le fichier de ligne de commande name.whl

2.2 beautifulsoup

Ouvrez CMD, vous devez d'abord installer lxml

pip3 install beautifulsoup4

2.3 pyquery (similaire à la syntaxe jquery)

Ouvrez CMD, pip3 install pyquery

Vérifiez les résultats de l'installation

3. >

3.1 pymysql (fonctionnant MySQL, base de données relationnelle)

Installation : pip3 install pymysql, test post-installation :

3.2 pymongo (fonctionnant MongoDB , clé-valeur)

Installation pip3 install pymongo

Vérification

3.3 redis (crawler distribué, maintenir la file d'attente d'exploration) Installation : pip3 install redis

Vérification :

4.1Django (système de maintenance de robots distribués) pip3 install django

4.2jupyter (le bloc-notes s'exécute sur la page Web, prend en charge le markdown, peut être utilisé dans Exécuter le code sur la page Web) Installez pip3 install jupyter

Vérification : ouvrez CMD, jupyter notebook

peut créer des blocs-notes, des blocs de code et des blocs Markdown directement sur la page Web, prendre en charge l'impression

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!