Heim >Backend-Entwicklung >Python-Tutorial >Installieren Sie das Scrapy-Tutorial
Installieren Sie das Scrapy-Tutorial
- 巴扎黑Original
- 2018-05-18 11:21:092307Durchsuche
Scrapy ist ein auf Python basierendes Webcrawler-Framework. Es kann Informationen aus dem Internet crawlen und ist eine gute Möglichkeit, Daten zu erhalten. Also wollte ich es installieren und einen Blick darauf werfen.
Gehen Sie auf die offizielle Website und die Installationseinführungsseite
bietet drei Installationsmethoden: eine von Pip, eine von der Quellcode-Kompilierung und eine von Conda
Nach bisherigen Erkenntnissen ist pip bereits ein in Python integriertes Paketverwaltungstool. Ich habe den Satz in der offiziellen Website-Einführungsoberfläche ignoriert
Beachten Sie, dass dies manchmal eine Lösung erfordert Kompilierungsprobleme für einige Scrapy-Abhängigkeiten abhängig von Ihrem Betriebssystem
Infolgedessen wurden während der Kompilierungsphase viele Fehler gemeldet und einer nach dem anderen behoben.
Dann habe ich aufgegeben und aus dem Quellcode kompiliert. Genau wie bei Pip gab es viele Kompilierungsfehler.
Es gibt keinen anderen Weg, also habe ich mir Conda angesehen und eine Miniconda heruntergeladen, die mehr als 60 MB kostete. Nach sorgfältiger Untersuchung sind die Ergebnisse erstaunlich.
Vielleicht hat Python auch bemerkt, dass sein Paket nach dem Herunterladen kompiliert werden muss. Die Kompilierung muss sich auf die Umgebungskonfiguration seines eigenen Betriebssystems verlassen, was häufig Fehler macht.
Miniconda ist eine integrierte Umgebung, in der Python bereits installiert ist. Dies entspricht dem Herunterladen und Installieren des Basis-Python-Kernprogramms. Anschließend können Sie die von Conda kompilierten Pakete mit dem Befehl conda herunterladen. Funktionserweiterungen vornehmen. Das heißt, das Scrapy-Paket und die davon abhängigen lxml-, Twisted- und anderen kompilierten Pakete wurden kompiliert. Dann laden Sie es einfach herunter und verwenden Sie es direkt.
Das obige ist der detaillierte Inhalt vonInstallieren Sie das Scrapy-Tutorial. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!