Python如實作爬蟲圖片的簡單實例分析

這篇文章主要介紹了Python 爬蟲圖片簡單實現的相關資料,需要的朋友可以參考下

Python 爬蟲圖片簡單實現

經常在逛知乎，有時候希望把一些問題的圖片集中保存起來。於是就有了這個程式。這是一個非常簡單的圖片爬蟲程序，只能爬取已經刷出來的部分的圖片。由於對這部分內容不太熟悉，所以只是簡單說幾句然後記錄程式碼，不做過多的講解。有興趣的可以直接拿去用。親測對於知乎等網站是可用的。

上一篇分享了透過url開啟圖片的方法，目的就是先看看爬取到的圖片時什麼樣，然後再篩選一下儲存。

這裡用到了requests庫來獲取頁面信息，需要注意的是，獲取頁面信息的時候需要一個header，用以把程序偽裝成瀏覽器去訪問服務器，不然可能會被伺服器拒絕。然後用BeautifulSoup來過濾多餘資訊得到圖片位址。拿到圖片後，依照圖片的大小過濾掉一些頭像、表情符號之類的小圖片。最後開啟或儲存圖片的時候選擇就比較多了，OpenCV，skimage，PIL等都可以。

程式如下：

# -*- coding=utf-8 -*-
import requests as req
from bs4 import BeautifulSoup
from PIL import Image
from io import BytesIO
import os
from skimage import io

url = "https://www.zhihu.com/question/37787176"
headers = {'User-Agent' : 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Mobile Safari/537.36'}
response = req.get(url,headers=headers)
content = str(response.content)
#print content

soup = BeautifulSoup(content,'lxml')
images = soup.find_all('img')
print u"共有%d张图片" % len(images)

if not os.path.exists("images"):
  os.mkdir("images")

for i in range(len(images)):
  img = images[i]
  print u"正在处理第%d张图片..." % (i+1)
  img_src = img.get('src')
  if img_src.startswith("http"):
    ## use PIL
    '''
    print img_src
    response = req.get(img_src,headers=headers)
    image = Image.open(BytesIO(response.content))
    w,h = image.size
    print w,h
    img_path = "images/" + str(i+1) + ".jpg"
    if w>=500 and h>500:
      #image.show()
      image.save(img_path)

    '''

    ## use OpenCV
    import numpy as np
    import urllib
    import cv2

    resp = urllib.urlopen(img_src)

    image = np.asarray(bytearray(resp.read()), dtype="uint8")
    image = cv2.imdecode(image, cv2.IMREAD_COLOR)
    w,h = image.shape[:2]
    print w,h
    img_path = "images/" + str(i+1) + ".jpg"
    if w>=400 and h>400:
      cv2.imshow("Image", image)
      cv2.waitKey(3000)
      ##cv2.imwrite(img_path,image)

    ## use skimage

    ## image = io.imread(img_src)
    ## w,h = image.shape[:2]
    ## print w,h
    #io.imshow(image)
    #io.show()

    ## img_path = "images/" + str(i+1) + ".jpg"
    ## if w>=500 and h>500:
      ## image.show()
      ## image.save(img_path)
      ## io.imsave(img_path,image)

print u"处理完成！"

以上是Python如實作爬蟲圖片的簡單實例分析的詳細內容。更多資訊請關注PHP中文網其他相關文章！