Heim >Backend-Entwicklung >Python-Tutorial >Welche Bibliotheken sollten für den Python-Crawler installiert werden?
Welche Bibliotheken müssen installiert werden, um den Python-Webcrawler zu erlernen?
Im Folgenden sind die relevanten Bibliotheken aufgeführt, die an Python-Crawlern beteiligt sind
Anforderungsbibliothek, Analysebibliothek, Repository, Toolbibliothek
1. Bibliothek anfordern: urllib/re/requests
(1) urllib/re ist die Bibliothek, die standardmäßig mit Python geliefert wird und mit dem folgenden Befehl überprüft werden kann:
Es wird keine Fehlermeldung ausgegeben, was darauf hinweist, dass die Umgebung normal ist
(2) fordert Installation an
2.1 Öffnen Sie CMD und geben Sie pip3-Installationsanforderungen ein
2.2 Nachdem Sie auf die Installation gewartet haben, überprüfen Sie
(3) Selenium-Installation (Ansteuerung des Browsers für Website-Zugriffsverhalten)
3.1 CMD öffnen und pip3 eingeben, Selenium installieren
3.2 Chromedriver installieren
Website: https://npm.taobao.org/
Das heruntergeladene komprimierte Paket extrahieren und Fügen Sie die Exe in D:Python3 .6.0Scripts ein
Dieser Pfad muss nur in der PATH-Variablen sein
3.3 Nachdem die Installation abgeschlossen ist, überprüfen Sie
und drücken Sie dann die Eingabetaste, um die Chrome-Browseroberfläche aufzurufen
3.4 Andere Browser installieren
Schnittstellenloser Browser Phantomjs
Download-URL: http://phantomjs.org /
Download Nach Abschluss entpacken Sie es, legen Sie das gesamte Verzeichnis in D:Python3.6.0Scripts ab und fügen Sie den Pfad zum bin-Verzeichnis zur PATH-Variablen hinzu
Überprüfung:
CMD öffnen
2. Parsing-Bibliothek:
2.1 lxml (XPATH)
Öffnen Sie CMD und geben Sie pip3 install lxml ein oder laden Sie es herunter Von https://pypi.python.org, zum Beispiel lxml -4.1.1-cp36-cp36m-win_amd64.whl (md5), laden Sie zuerst die WHL-Datei herunter und führen Sie pip3 install in der Befehlszeile aus Dateiname.whl
2.2 beautifulsoup
Öffnen Sie CMD, Sie müssen zuerst lxml installieren
pip3 install beautifulsoup4
2.3 Pyquery (ähnlich der JQuery-Syntax)
Öffnen Sie CMD, pip3 installieren Sie Pyquery
Überprüfen Sie die Installationsergebnisse
3 >
3.1 pymysql (Betrieb von MySQL, relationale Datenbank)Installation: pip3 install pymysql, Test nach der Installation: 3.2 pymongo (Betrieb von MongoDB, Schlüsselwert) Pip3 installieren, Pymongo installierenDas obige ist der detaillierte Inhalt vonWelche Bibliotheken sollten für den Python-Crawler installiert werden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!