Introduction aux outils de ligne de commande courants de Scrapy

Afficher toutes les commandes

scrapy -h

Afficher les informations d'aide

scapy --help

Afficher les informations sur la version

(venv)ql@ql:~$ scrapy version
Scrapy 1.1.2(venv)ql@ql:~$ 
(venv)ql@ql:~$ scrapy version -vScrapy    : 1.1.2lxml      : 3.6.4.0libxml2   : 2.9.4Twisted   : 16.4.0Python    : 2.7.12 (default, Jul  1 2016, 15:12:24) - [GCC 5.4.0 20160609]pyOpenSSL : 16.1.0 (OpenSSL 1.0.2g-fips  1 Mar 2016)Platform  : Linux-4.4.0-36-generic-x86_64-with-Ubuntu-16.04-xenial
(venv)ql@ql:~$

Créer un nouveau projet

scrapy startproject spider_name

Build crawler genspider (generator spider)

Plusieurs araignées peuvent exister dans un projet, mais le nom doit être unique

scrapy genspider name domain# Par exemple : #scrapy genspider sohu sohu.org

Voir combien de robots d'exploration il y a dans le projet en cours

liste scrapy

voir Utiliser un navigateur pour ouvrir la page Web

vue scrapy www.baidu.com

commande shell, entrez dans l'environnement interactif scrpay

#Entrez l'environnement interactif de l'url scrapy shell www.dmoz.org/Computers/ Programming/Languages/Python/Books/

Entrez ensuite dans l'environnement interactif
Nous utilisons principalement la commande de réponse ici, par exemple, vous pouvez utiliser

response.xpath() #Brackets Ajoutez directement le chemin XPath

La commande runspider est utilisée pour exécuter directement le robot créé, et n'exécutera pas l'intégralité du projet

Nom du robot d'exploration Scrapy Runspider

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!