python爬虫[一] 批量下载妹子图

煎蛋网上的妹子图专题有着质量很高的美女图片，今天分享一下用 python 批量下载这些妹子图的方法。

需要了解的知识和工具：

#1 需要了解 python 的基本语法，对这篇文章来说，你只要知道如何操作 list ,for……in……，如何定义函数就够了。网页抓取、分析和保存文件的函数边用边了解。

#2 需要安装第三方库 BeautifulSoup4。使用 pip 安装是很便利的方法。最新版本的 python 自带了pip工具，windows下按 windows+x快捷键，打开命令提示符(管理员)，输入

  pip install beautifulsoup4

回车运行

出现 Successfully installed 之类的提示信息就说明安装已完成。

#3 不需要具备html等知识。但查看源代码和查看元素的浏览器还是需要的，如 chrome 和 firefox。

(如果没有 pip ,请自行搜索如何安装 pip.)

一.下载网页

想要下载两千多个网页上的所有图片，首先你要学会下载一个网页 :)。练习下载的网址 url 是：jandan.net/ooxx/page-2397#comments. 使用 chrome 或 firefox浏览器打开后，鼠标右键——查看网页源代码。我们看到的网页，都是浏览器解析这些 使用 html,js,css 等编写的源代码后呈现给我们的。而图片的地址就包含在这些源代码中，那么第一步就是下载这些html代码。

截取了部分代码

使用 python 自带库 urllib.request 来下载网页 。urllib.request 是一个使用多种协议的、用于访问打开 url 的可扩展库。

    import urllib.request

    url = 'http://jandan.net/ooxx/page-2397#comments'

    res = urllib.request.urlopen(url)

urllib.request.urlopen()这个函数是干嘛的呢？  如它的名字一样，它可以用来打开一个 url 。它既可以接受一个str(我们传的就是)，也可以接受一个 Request对象。这个函数的返回值总是一个可以像 context manager 样工作的对象，并且自带 geturl()、info()、getcode()等方法。

其实我们不用管那么多，只需要记住这个函数可以接受一个网址，然后返回给我们一个包含这个网址所有信息的对象就行了，我们对这个对象进行操作。

现在把 res 对象中的 html代码读出来赋给变量html。使用res.read()方法。

html = res.read()

这时，html中存储的就是 html源代码了！

试着 print(html)

截取了部分代码。

这时你发现结果和鼠标右键——查看网页源代码出现的内容不太一样。原来read()方法的返回值是 n bytes……这是什么鬼？ 好吧，其实我们是可以解析这个返回值并得到图片地址的。但如果你想得到和浏览器中看到的一样的 html 代码，可以将上一行代码改为 

html = res.read().decode('utf-8')

然后print(html)

截取了部分代码。

OK！一样了，这是因为 read()的decode('utf-8')可以把read()的返回值以utf-8编码。但我们仍使用 html = res.read(),因为其中同样包含我们需要的信息。

到目前为止我们只用了4行 python 代码，就把网页 http://jandan.net/ooxx/page-2397#comments  的html代码下载并存储到了变量html中。如下：

import urllib.request

#下载网页

url = 'http://jandan.net/ooxx/page-2397#comments'

res = urllib.request.urlopen(url)

html = res.read()

二.解析出地址

下面，使用 beautifulsoup4 对html进行解析。

如何确定某张图片对应的html代码在哪里呢？在该网页上鼠标右键——检查。这时左半屏是原网页，右半屏是html代码和一堆功能按钮。

Elements 左边有个选择箭头，单击一下变为蓝色，再单击左边网页中的图片，就可以看到右边html代码中自动高亮了一部分代码。这部分代码就是这张图片对应的html代码！这个箭头就是用来定位网页中某元素对应的代码的。

仔细看这段代码：

可以看到 src="//wx2.sinaimg.cn/mw600/66b3de17gy1fdrf0wcuscj20p60zktad.jpg"部分 就是这张图片的地址，src 就是 source。src后面的 style则是它的样式，不用管它。这时你可以试验一下，在src前添加http:，访问http://wx2.sinaimg.cn/mw600/66b3de17gy1fdrf0wcuscj20p60zktad.jpg应该就能看到原来的图片了。

所以，src对应的内容就是我们需要的图片链接地址。注意看图片中，src和图片地址链接、style和max-width等是类似于  key-value的对应关系。这与后面提取图片的地址所用的方法有关系。

查看其他图片对应的代码，可以看到它们的格式都是一样的，即都被包含在 中。

使用BeautifulSoup()将html解析。除了传入html，我们还传了一个'html.parser'参数，这表明我们希望 BeautifulSoup()函数按html的解析方式对变量html进行解析。parser是句法分析的意思。

soup = BeautifulSoup(html,'html.parser')

这行代码将html解析成一个soup对象。我们可以很方便地对这个对象进行操作。比如只提取包含'img'的文本内容：

result = soup.find_all('img')

用find_all()方法。

print(result)可以看到result是一个列表，每个元素都是src-图片地址键值对，只不过包含 等我们不需要的内容。

截取了部分代码。

使用get方法把双引号中的地址提取出来，并在开头加上 http:。

links=[]

for content in result:

    links.append('http:'+content.get('src'))

content.get('src')就是在content中获取键src所对应的值，即双引号中的地址。

links.append()是常见的向列表中添加元素的方法。

print(links)可以看到这个列表里每个元素都是原来双引号中的的图片地址。如下图：

截取了部分代码

使用浏览器打开任何一个地址都能看到相应的图片！YO！这说明我们就差最后一步了，下载它们！

提取地址部分就完成了。代码也是相当的简洁，如下：

#解析网页

from bs4 import BeautifulSoup

soup = BeautifulSoup(html,'html.parser')

result = soup.find_all('img')

links=[]

for content in result:

    links.append('http:'+content.get('src'))

三.下载图片

最后就是依次访问links中的地址，把图片下载下来！

在开头

 import os

先创建photo文件夹存放下载的图片，以下代码会将photo文件夹创建在这个程序.py文件所在的位置。

if not os.path.exists('photo'):

    os.makedirs('photo')

我们知道links是个列表，所以最好使用循环来一个一个下载、命名、存放。

i=0

for link in links:

    i+=1

    filename ='photo\\'+'photo'+str(i)+'.png'

    with open(filename,'w') as file:

        urllib.request.urlretrieve(link,filename)

i是循环变量，i+=1是控制循环的语句。

filename为图片命名，但其实是先创建一个具有此名称的文件，然后把图片写进去。从filename的赋值语句可以看出，'photo\\'说明它位于photo文件夹，后面的 'photo'+str(i)则是为了有序，全下载完后会是 photo1,photo2,photo3这样的感觉～ '.png'是后缀。用 + 号连接字符串在python中也是常用的做法。

with这两行语句，将 link中的地址指向的图片获取到本地，然后存入 filename 。

open(filename,'w')，打开filename这个文件夹，'w'表示打开方式是 write 写入。也就是说在这里open()接受了两个参数，一个是文件名(文件路径)，一个是打开方式。

urllib.request.urlretrieve(link,filename) 的功能是访问 link 这个链接，然后取回一份拷贝放入 filename中。

3部分都写完后，点击运行！就能在.py文件所在路径发现 photo文件夹，里面全是我们下载的图片啦～

完整代码如下：

import urllib.request

from bs4 import BeautifulSoup

import os

#下载网页

url = 'http://jandan.net/ooxx/page-2397#comments'

res = urllib.request.urlopen(url)

html = res.read()

#解析网页

soup = BeautifulSoup(html,'html.parser')

result = soup.find_all('img')

links=[]

for content in result:

    links.append('http:'+content.get('src'))

#下载并存储图片

if not os.path.exists('photo'):

    os.makedirs('photo')

i=0

for link in links:

    i+=1

    filename ='photo\\'+'photo'+str(i)+'.png'

    with open(filename,'w') as file:

        urllib.request.urlretrieve(link,filename)

这个小程序算是面向过程的写法吧，从上到下，也没有定义函数。这样可能对刚入门的新手更易懂一些。

妹子图的链接

http://jandan.net/ooxx/page-2397#comments 只有中间的数字会在1-2XXX间变化。

url = 'http://jandan.net/ooxx/page-'+str(i)+'#comments'

改变 i 的值就能批量下载了。可是有评论说频繁的访问该网站可能会被封 IP，这点我也不懂，请自行尝试！ 

Atas ialah kandungan terperinci python爬虫[一] 批量下载妹子图. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!