Python 크롤러에는 어떤 라이브러리를 설치해야 합니까?

Python 웹 크롤러를 배우려면 어떤 라이브러리를 설치해야 합니까?

다음은 Python 크롤러와 관련된 관련 라이브러리입니다

요청 라이브러리, 구문 분석 라이브러리, 저장소, 도구 라이브러리

1 요청 라이브러리: urllib/re/requests

(1) urllib/re is 기본적으로 Python에 포함된 라이브러리는 다음 명령으로 확인할 수 있습니다.

환경이 정상임을 나타내는 오류 메시지가 출력되지 않습니다.

(2) 설치를 요청합니다.

2.1 CMD를 열고 pip3 install을 입력합니다. 요청

2.2 설치 대기 그 후 확인

(3) 셀레늄 설치(웹 사이트 액세스 동작을 위한 드라이브 브라우저)

3.1 CMD를 열고 pip3을 입력하여 셀레늄 설치

3.2 크롬 드라이버 설치

웹사이트: https://npm.taobao.org/

다운로드한 압축 패키지를 추출하고 exe를 D:Python3.6.0Scripts에 넣으세요

이 경로는 PATH 변수에만 있으면 됩니다

3.3 설치가 완료된 후 확인하세요.

Enter를 누르면 크롬 브라우저 인터페이스가 나타납니다

3.4 다른 브라우저 설치

인터페이스 없는 브라우저 phantomjs

다운로드 URL: http://phantomjs.org/

다운로드가 완료된 후 압축을 풀고 넣습니다. 전체 디렉터리를 D:Python3.6.0 스크립트에 추가하고 bin 디렉터리 경로를 PATH 변수

확인:

Open CMD

2. 구문 분석 라이브러리:

2.1 lxml (XPATH)

Open CMD를 입력하고 pip3 install lxml을 입력하거나 https://에서 lxml을 설치합니다. pypi.python.org에서 다운로드합니다(예: lxml-4.1.1-cp36-cp36m-win_amd64.whl(md5)). 먼저 whl 파일을 다운로드한 후 실행합니다. 명령줄에 pip3을 설치합니다. pip3 install pyquery

설치 결과 확인

3.Repository

3.1 pymysql(MySQL 운영, 관계형 데이터베이스)

설치: pip3 install pymysql, 설치 후 테스트:

3.2 피몽고(운영중 MongoDB, 키-값)

설치 pip3 install pymongo

Verification

3 .3 redis (분산 크롤러, 크롤링 큐 유지) 설치: pip3 install redis

확인:

4.1장고 (분산 크롤러 유지 관리 시스템) pip3 install django

4.2jupyter (웹 페이지에서 실행되는 메모장), 마크다운 지원, 웹 페이지에서 코드 실행 가능) pip3 설치 jupyter

확인: CMD를 연 후 jupyter 노트북

웹 페이지에서 직접 메모장, 코드 블록 및 마크다운 블록을 생성하고 인쇄를 지원할 수 있습니다

위 내용은 Python 크롤러에는 어떤 라이브러리를 설치해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!