[Python] 웹 크롤러 (11): 검을 보여주세요! 크롤러 프레임워크 Scrapy가 데뷔합니다!

크롤러 노트의 이전 10개 장에서는 간단한 Python 크롤러 지식을 연속적으로 기록했으며

간단한 Tieba 다운로드를 해결하는 데 사용되었으며 성적 점수 계산은 당연히 당연한 일입니다.

그런데 Zhihu의 모든 질문과 답변 등 많은 양의 콘텐츠를 일괄적으로 다운로드하려면 조금 어려울 것 같습니다.

이후 크롤러 프레임워크인 Scrapy가 등장했습니다!

Scrapy = Scrach+Python. Scrach라는 단어는 크롤링을 의미합니다.

지금은 Scrapy라고 부르겠습니다.

Xiaozhua 공식 홈페이지 주소: Click me, click me.

그럼 Scrapy 설치 과정을 간략하게 보여드리겠습니다.

구체적인 절차는 다음을 참조하세요: 공식 웹사이트 튜토리얼

알림: 반드시 Python 버전에 따라 다운로드하세요. 그렇지 않으면 Python을 찾을 수 없다는 알림을 받게 됩니다. 설치. 64비트에서는 필요한 소프트웨어의 일부 버전을 찾기 어렵기 때문에 32비트를 설치하는 것이 좋습니다.

1. Python 설치(32비트 권장)

Python2.7.x 설치를 권장하는데, 3.x는 아닌 것 같습니다. 아직 지원되지 않습니다.

설치 후에는 환경을 구성하고 python 디렉터리와 python 디렉터리 아래의 Scripts 디렉터리를 시스템 환경 변수의 경로에 추가해야 합니다.

cmd에 python을 입력하면 버전정보가 나오면 설정이 완료된 것입니다.

2. lxml 설치

lxml은 Python으로 작성된 라이브러리로 XML을 빠르고 유연하게 처리할 수 있습니다. 설치할 해당 Python 버전을 선택하려면 여기를 클릭하세요.

3. setuptools 설치

는 python2.7에 해당하는 setuptools 버전을 다운로드하는 데 사용됩니다.

4. zope.interface 설치

3단계에서 다운로드한 setuptools를 사용하여 현재 exe 버전도 있습니다. 다운로드하려면 여기를 클릭하세요.

5. Twisted 설치

Twisted는 Python으로 구현된 이벤트 기반 네트워크 엔진 프레임워크입니다. 다운로드하려면 여기를 클릭하세요.

6. pyOpenSSL 설치

pyOpenSSL은 Python의 OpenSSL 인터페이스입니다. 다운로드하려면 여기를 클릭하세요.

7. win32py 설치

는 win32api를 제공합니다. 여기를 클릭하여 다운로드하세요

8 .Scrapy 설치

드디어 신나는 시간입니다! 수많은 위젯을 설치한 끝에 드디어 주인공의 차례가 왔습니다.

cmd에 easy_install scrapy를 직접 입력하고 Enter를 누르세요.

9. 설치 확인

cmd 창을 열고 어디서나 scrapy 명령을 실행하면 다음 페이지가 표시됩니다. 이는 환경 구성에 성공했음을 의미합니다. .

위는 [Python] Web Crawler (11) : 검을 보여라! 크롤러 프레임워크 Scrapy가 데뷔합니다! 더 많은 관련 내용은 PHP 중국어 홈페이지(www.php.cn)를 주목해주세요!