Einführung in die allgemeinen Befehlszeilentools von Scrapy

Alle Befehle anzeigen

scrapy -h

Hilfeinformationen anzeigen

scapy --help

Versionsinformationen anzeigen

(venv)ql@ql:~$ scrapy version
Scrapy 1.1.2(venv)ql@ql:~$ 
(venv)ql@ql:~$ scrapy version -vScrapy    : 1.1.2lxml      : 3.6.4.0libxml2   : 2.9.4Twisted   : 16.4.0Python    : 2.7.12 (default, Jul  1 2016, 15:12:24) - [GCC 5.4.0 20160609]pyOpenSSL : 16.1.0 (OpenSSL 1.0.2g-fips  1 Mar 2016)Platform  : Linux-4.4.0-36-generic-x86_64-with-Ubuntu-16.04-xenial
(venv)ql@ql:~$

Neues Projekt erstellen

Scrapy-Startprojekt-Spider-Name

Crawler-Genspider erstellen (Generator-Spider)

Mehrere Spiders können in einem Projekt vorhanden sein, aber der Name muss eindeutig sein

Scrapy-Genspider-Name domain# Zum Beispiel: #scrapy genspider sohu sohu.org

Anzeigen, wie viele Crawler es im aktuellen Projekt gibt

Scrapy-Liste

Anzeigen Verwendung Ein Browser zum Öffnen der Webseite

Scrapy-Ansicht www.baidu.com

Shell-Befehl, geben Sie die interaktive Umgebung von scrpay ein

#Geben Sie die URL der interaktiven Umgebung von Scrapy ein Shell www.dmoz.org/Computers/ Programming/Languages/Python/Books/

Dann betreten Sie die interaktive Umgebung
Wir verwenden hier hauptsächlich den Antwortbefehl, zum Beispiel können Sie

response.xpath() #Klammern Fügen Sie den XPath-Pfad direkt hinzu

Der Befehl „runspider“ wird verwendet, um den erstellten Crawler direkt auszuführen, und führt nicht das gesamte Projekt aus

Name des Scrapy-Runspider-Crawlers

Das obige ist der detaillierte Inhalt vonEinführung in die allgemeinen Befehlszeilentools von Scrapy. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!