python爬虫需要安装什么-Python教程-PHP中文网

首页

后端开发

Python教程

python爬虫需要安装什么

藏色散人

Jul 05, 2019 am 10:28 AM

python

python爬虫需要安装什么

世界上80%的爬虫是基于Python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。

python爬虫需要安装相关库：

python爬虫涉及的库：

请求库，解析库，存储库，工具库

1. 请求库：urllib/re/requests

（1） urllib/re是python默认自带的库，可以通过以下命令进行验证：

没有报错信息输出，说明环境正常

（2） requests安装

2.1 打开CMD，输入

pip3 install requests

2.2 等待安装后，验证

（3） selenium安装（驱动浏览器进行网站访问行为）

3.1 打开CMD，输入

pip3 install selenium

3.2 安装chromedriver

网址：https://npm.taobao.org/

把下载完成后的压缩包解压，把exe放到D:\Python3.6.0\Scripts\

这个路径只要在PATH变量中就可以

3.3 等待安装完成后，验证

回车后弹出chrome浏览器界面

3.4 安装其他浏览器

无界面浏览器phantomjs

下载网址：http://phantomjs.org/

下载完成后解压，把整个目录放到D:\Python3.6.0\Scripts\，把bin目录的路径添加到PATH变量

验证：

打开CMD

phantomjs
console.log(&#39;phantomjs&#39;)

CTRL+C

python
from selenium import webdriver
driver = webdriver.PhantomJS()
dirver.get(&#39;http://www.baidu.com&#39;)
driver.page_source

2. 解析库：

2.1 lxml (XPATH)

打开CMD

pip3 install lxml

或者从https://pypi.python.org下载，例如，lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件

pip3 install 文件名.whl

2.2 beautifulsoup

打开CMD，需要先安装好lxml

pip3 install beautifulsoup4

验证

python
from bs4 import BeautifulSoup
soup = BeautifulSoup(&#39;<html></html>&#39;,&#39;lxml&#39;)

2.3 pyquery（类似jquery语法）

打开CMD

pip3 install pyquery

验证安装结果

python
from pyquery import PyQuery as pq
doc = pq(&#39;<html>hi</html>&#39;)
result = doc(&#39;html&#39;).text()
result

3. 存储库

3.1 pymysql（操作MySQL，关系型数据库）

安装：

pip3 install pymysql

安装后测试：

3.2 pymongo（操作MongoDB，key-value）

安装

pip3 install pymongo

验证

python
import pymongo
client = pymongo.MongoClient(&#39;localhost&#39;)
db = client[&#39;testdb&#39;]
db[&#39;table&#39;].insert({&#39;name&#39;:&#39;bob&#39;})
db[&#39;table&#39;].find_one({&#39;name&#39;:&#39;bob&#39;})

3.3 redis（分布式爬虫，维护爬取队列）

安装：

pip3 install redis

验证：

4.工具库

4.1 flask（WEB库）

pip3 install flask

4.2 Django（分布式爬虫维护系统）

pip3 install django

4.3 jupyter（运行在网页端的记事本，支持markdown，可以在网页上运行代码）

pip3 install jupyter

验证：

打开CMD

jupyter notebook

之后就可以在网页直接创建记事本，代码块和Markdown块，支持打印

【相关推荐】

1. python爬虫库以及相关利器

2. python爬虫入门教程

以上是python爬虫需要安装什么的详细内容。更多信息请关注PHP中文网其他相关文章！

声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

2小时的Python计划：一种现实的方法Apr 11, 2025 am 12:04 AM

2小时内可以学会Python的基本编程概念和技能。1.学习变量和数据类型，2.掌握控制流（条件语句和循环），3.理解函数的定义和使用，4.通过简单示例和代码片段快速上手Python编程。

Python：探索其主要应用程序Apr 10, 2025 am 09:41 AM

Python在web开发、数据科学、机器学习、自动化和脚本编写等领域有广泛应用。1)在web开发中，Django和Flask框架简化了开发过程。2)数据科学和机器学习领域，NumPy、Pandas、Scikit-learn和TensorFlow库提供了强大支持。3)自动化和脚本编写方面，Python适用于自动化测试和系统管理等任务。