Scrapy의 공통 명령줄 도구 소개

모든 명령 보기

scrapy -h

도움말 정보 보기

scapy --help

버전 정보 보기

(venv)ql@ql:~$ scrapy version
Scrapy 1.1.2(venv)ql@ql:~$ 
(venv)ql@ql:~$ scrapy version -vScrapy    : 1.1.2lxml      : 3.6.4.0libxml2   : 2.9.4Twisted   : 16.4.0Python    : 2.7.12 (default, Jul  1 2016, 15:12:24) - [GCC 5.4.0 20160609]pyOpenSSL : 16.1.0 (OpenSSL 1.0.2g-fips  1 Mar 2016)Platform  : Linux-4.4.0-36-generic-x86_64-with-Ubuntu-16.04-xenial
(venv)ql@ql:~$

새 프로젝트 만들기

scrapy startproject spider_name

크롤러 genspider(생성기 스파이더) 만들기

한 프로젝트에 여러 스파이더가 존재할 수 있습니다. 하지만 이름은 고유해야 합니다

scrapy genspider 이름 도메인#예: #scrapy genspider sohu sohu.org

현재 프로젝트에 크롤러가 몇 개 있는지 확인하세요

scrapy 목록

view 브라우저를 사용하여 다음을 엽니다. webpage

scrapy view www.baidu.com

shell 명령으로 scrpay 대화형 환경을 입력하세요

#이 URL scrapy 쉘의 대화형 환경을 입력하세요 www.dmoz.org/Computers/Programming/Languages/Python/Books/

그런 다음 대화형 환경으로 들어갑니다
우리는 주로 응답 명령을 사용합니다. 예를 들어

응답을 사용할 수 있습니다.

위 내용은 Scrapy의 공통 명령줄 도구 소개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!