>  기사  >  백엔드 개발  >  Python 크롤러를 위해 어떤 라이브러리를 설치해야 합니까?

Python 크롤러를 위해 어떤 라이브러리를 설치해야 합니까?

anonymity
anonymity원래의
2019-06-11 17:56:376469검색

웹 크롤러(웹 스파이더, 웹 로봇이라고도 하며 FOAF 커뮤니티에서는 웹 체이서라고도 함)는 특정 규칙에 따라 World Wide Web 정보를 자동으로 캡처하는 프로그램 또는 스크립트입니다.

Python 크롤러를 위해 어떤 라이브러리를 설치해야 합니까?

1 설치해야 하는 환경은 주로 Python 환경과 데이터베이스 환경입니다.

mongodb

redis

mysql

2. 일반적으로 사용되는 일부 라이브러리

urillb

re

requests

selenium

phantomjs

lxml#🎜# # 🎜🎜#beautifulsoup4

pyquery

pymysql

pymongo

redis

# 🎜🎜#플라스크# 🎜🎜#

django

jupyter

위 내용은 Python 크롤러를 위해 어떤 라이브러리를 설치해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명:
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.