웹 크롤러(웹 스파이더, 웹 로봇이라고도 하며 FOAF 커뮤니티에서는 웹 체이서라고도 함)는 특정 규칙에 따라 World Wide Web 정보를 자동으로 캡처하는 프로그램 또는 스크립트입니다.
1 설치해야 하는 환경은 주로 Python 환경과 데이터베이스 환경입니다.
mongodb
redis
mysql
2. 일반적으로 사용되는 일부 라이브러리
urillb
re
requests
selenium
phantomjs
lxml#🎜# # 🎜🎜#beautifulsoup4
pyquery
pymysql
pymongo
redis
# 🎜🎜#플라스크# 🎜🎜#django
jupyter
위 내용은 Python 크롤러를 위해 어떤 라이브러리를 설치해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!