Python 크롤러를 위해 설치해야 할 것-파이썬 튜토리얼-php.cn

집

백엔드 개발

파이썬 튜토리얼

Python 크롤러를 위해 설치해야 할 것

藏色散人

Jul 05, 2019 am 10:28 AM

python

Python 크롤러를 위해 설치해야 할 것

전 세계 크롤러의 80%는 Python을 기반으로 개발됩니다. 크롤러 기술을 학습하면 후속 빅데이터 분석, 마이닝, 기계 학습 등에 중요한 데이터 소스를 제공할 수 있습니다.

Python 크롤러는 관련 라이브러리를 설치해야 합니다:

Python 크롤러와 관련된 라이브러리:

요청 라이브러리, 구문 분석 라이브러리, 저장소 라이브러리, 도구 라이브러리

1. 요청 라이브러리: urllib/re/requests

(1) urllib /re는 Python에 기본으로 제공되는 라이브러리로, 다음 명령어로 확인할 수 있습니다.

환경이 정상임을 나타내는 오류 메시지가 출력되지 않습니다.

(2) 설치 요청

2.1 열기 CMD,

pip3 install requests

입력 2.2 설치 대기 그 후

확인 (3) 셀레늄 설치 (웹사이트 접속 동작을 위한 브라우저 구동)

3.1 CMD 열기,

pip3 install selenium

3.2 크롬드라이버 설치

웹사이트: https ://npm.taobao.org/

다운로드한 압축 패키지를 추출하고 exe를 D:Python3.6.0Scripts에 넣으세요

이 경로는 PATH 변수에만 있으면 됩니다

3.3 설치가 완료된 후 확인하세요

Enter를 누르면 크롬이 나타납니다. 브라우저 인터페이스

3.4 다른 브라우저 설치

인터페이스 없는 브라우저 phantomjs

다운로드 URL: http://phantomjs.org/

다운로드한 후 압축을 풀고 전체 디렉토리를 D:Python3.6.0Scripts, 그리고 bin 디렉터리 경로를 PATH 변수에 추가합니다.

확인:

Open CMD

phantomjs
console.log(&#39;phantomjs&#39;)

CTRL+C

python
from selenium import webdriver
driver = webdriver.PhantomJS()
dirver.get(&#39;http://www.baidu.com&#39;)
driver.page_source

2 구문 분석 라이브러리:

2.1 lxml (XPATH)

Open CMD

pip3 install lxml

또는 https://pypi.python.org에서 다운로드(예: lxml-4.1.1-cp36-cp36m-win_amd64.whl(md5)), 먼저 whl 파일

pip3 install 文件名.whl

2.2 beautifulsoup

Open CMD를 다운로드하세요. lxml

pip3 install beautifulsoup4

Verification

python
from bs4 import BeautifulSoup
soup = BeautifulSoup(&#39;<html></html>&#39;,&#39;lxml&#39;)

2.3 pyquery (jQuery 문법과 유사)

Open CMD

pip3 install pyquery

확인 및 설치 결과

python
from pyquery import PyQuery as pq
doc = pq(&#39;<html>hi</html>&#39;)
result = doc(&#39;html&#39;).text()
result

3.1 PyMysql (MySQL, Relationship Database 운영)

설치 필요

3.2 pymongo(MongoDB 운영, 키-값)

installation

pip3 install pymysql

verification

pip3 install pymongo

3.3 redis(분산 크롤러, 크롤링 대기열 유지)

설치:

python
import pymongo
client = pymongo.MongoClient(&#39;localhost&#39;)
db = client[&#39;testdb&#39;]
db[&#39;table&#39;].insert({&#39;name&#39;:&#39;bob&#39;})
db[&#39;table&#39;].find_one({&#39;name&#39;:&#39;bob&#39;})

인증:

4. 도구 라이브러리

4.1 플라스크(WEB 라이브러리)

pip3 install redis

4.2 Django(분산 크롤러 유지 관리 시스템)

pip3 install flask

4.3 jupyter(웹 페이지에서 실행되는 메모장, markdown 지원, 웹 페이지)

pip3 install django

확인:

Open CMD

pip3 install jupyter

웹 페이지에서 직접 메모장, 코드 블록 및 마크다운 블록을 생성하고 인쇄를 지원할 수 있습니다.

【관련 권장 사항】

python 크롤러 라이브러리 및 관련 도구.

Python 크롤러 입문 튜토리얼

위 내용은 Python 크롤러를 위해 설치해야 할 것의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명

본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

관련 기사

파이썬의 주요 목적 : 유연성과 사용 편의성Apr 17, 2025 am 12:14 AM

Python의 유연성은 다중 파리가 지원 및 동적 유형 시스템에 반영되며, 사용 편의성은 간단한 구문 및 풍부한 표준 라이브러리에서 나옵니다. 유연성 : 객체 지향, 기능 및 절차 프로그래밍을 지원하며 동적 유형 시스템은 개발 효율성을 향상시킵니다. 2. 사용 편의성 : 문법은 자연 언어에 가깝고 표준 라이브러리는 광범위한 기능을 다루며 개발 프로세스를 단순화합니다.

파이썬 : 다목적 프로그래밍의 힘Apr 17, 2025 am 12:09 AM

Python은 초보자부터 고급 개발자에 이르기까지 모든 요구에 적합한 단순성과 힘에 호의적입니다. 다목적 성은 다음과 같이 반영됩니다. 1) 배우고 사용하기 쉽고 간단한 구문; 2) Numpy, Pandas 등과 같은 풍부한 라이브러리 및 프레임 워크; 3) 다양한 운영 체제에서 실행할 수있는 크로스 플랫폼 지원; 4) 작업 효율성을 향상시키기위한 스크립팅 및 자동화 작업에 적합합니다.

하루 2 시간 안에 파이썬 학습 : 실용 가이드Apr 17, 2025 am 12:05 AM

예, 하루에 2 시간 후에 파이썬을 배우십시오. 1. 합리적인 학습 계획 개발, 2. 올바른 학습 자원을 선택하십시오. 3. 실습을 통해 학습 된 지식을 통합하십시오. 이 단계는 짧은 시간 안에 Python을 마스터하는 데 도움이 될 수 있습니다.

Python vs. C : 개발자를위한 장단점Apr 17, 2025 am 12:04 AM

Python은 빠른 개발 및 데이터 처리에 적합한 반면 C는 고성능 및 기본 제어에 적합합니다. 1) Python은 간결한 구문과 함께 사용하기 쉽고 데이터 과학 및 웹 개발에 적합합니다. 2) C는 고성능과 정확한 제어를 가지고 있으며 게임 및 시스템 프로그래밍에 종종 사용됩니다.

파이썬 : 시간 약속과 학습 속도Apr 17, 2025 am 12:03 AM

Python을 배우는 데 필요한 시간은 개인마다 다릅니다. 주로 이전 프로그래밍 경험, 학습 동기 부여, 학습 리소스 및 방법 및 학습 리듬의 영향을받습니다. 실질적인 학습 목표를 설정하고 실용적인 프로젝트를 통해 최선을 다하십시오.

파이썬 : 자동화, 스크립팅 및 작업 관리Apr 16, 2025 am 12:14 AM

파이썬은 자동화, 스크립팅 및 작업 관리가 탁월합니다. 1) 자동화 : 파일 백업은 OS 및 Shutil과 같은 표준 라이브러리를 통해 실현됩니다. 2) 스크립트 쓰기 : PSUTIL 라이브러리를 사용하여 시스템 리소스를 모니터링합니다. 3) 작업 관리 : 일정 라이브러리를 사용하여 작업을 예약하십시오. Python의 사용 편의성과 풍부한 라이브러리 지원으로 인해 이러한 영역에서 선호하는 도구가됩니다.

파이썬과 시간 : 공부 시간을 최대한 활용Apr 14, 2025 am 12:02 AM

제한된 시간에 Python 학습 효율을 극대화하려면 Python의 DateTime, Time 및 Schedule 모듈을 사용할 수 있습니다. 1. DateTime 모듈은 학습 시간을 기록하고 계획하는 데 사용됩니다. 2. 시간 모듈은 학습과 휴식 시간을 설정하는 데 도움이됩니다. 3. 일정 모듈은 주간 학습 작업을 자동으로 배열합니다.

파이썬 : 게임, Guis 등Apr 13, 2025 am 12:14 AM

Python은 게임 및 GUI 개발에서 탁월합니다. 1) 게임 개발은 Pygame을 사용하여 드로잉, 오디오 및 기타 기능을 제공하며 2D 게임을 만드는 데 적합합니다. 2) GUI 개발은 Tkinter 또는 PYQT를 선택할 수 있습니다. Tkinter는 간단하고 사용하기 쉽고 PYQT는 풍부한 기능을 가지고 있으며 전문 개발에 적합합니다.

See all articles

핫 AI 도구

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

mPDF

mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.