首頁  >  文章  >  後端開發  >  Python爬蟲:透過關鍵字爬取百度圖片

Python爬蟲:透過關鍵字爬取百度圖片

高洛峰
高洛峰原創
2017-02-20 10:06:372547瀏覽

使用工具:Python2.7 

scrapy框架

sublime text3

一。建立python(Windows版本)

 1.安裝python2.7 ---然後在cmd當中輸入python,介面如下則安裝成功

Python爬蟲:透過關鍵字爬取百度圖片

 2.整合Scrapy框架----輸入命令列:pip install Scrapy

Python爬蟲:透過關鍵字爬取百度圖片

安裝成功介面如下:

Python爬蟲:透過關鍵字爬取百度圖片

失敗的情況很多,舉例一種​​:

Python爬蟲:透過關鍵字爬取百度圖片

解決方案:

解。

二。開始編程。

Python爬蟲:透過關鍵字爬取百度圖片python程式碼如下:

程式碼註解:引入了兩個模組urllib,re。定義兩個函數,第一個函數是取得整個目標網頁數據,第二個函數是在目標網頁中取得目標圖片,遍歷網頁,並且給予所取得的圖片依照0開始排序。

Python爬蟲:透過關鍵字爬取百度圖片註:re模組知識點:

Python爬蟲:透過關鍵字爬取百度圖片爬取圖片效果圖:

圖片保存路徑預設在建立的.py同目錄檔案下。

2.爬取有反爬蟲措施的百度圖片。如百度圖片等。

例如關鍵字搜尋「表情包」https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gbk&word=%B1%ED%C7%E9%B0%FC&fr= ala&ori_query=%E8%A1%A8%E6%83%85%E5%8C%85&ala=0&alatpl=sp&pos=0&hs=2&xthttps=11111

圖片採用滾動式加載,先爬取最優先的30張圖片。

Python爬蟲:透過關鍵字爬取百度圖片程式碼如下:

程式碼註解:導入4個模組,os模組用於指定保存路徑。前兩個函數同上。第三個函數使用了if語句,並且tryException異常。

Python爬蟲:透過關鍵字爬取百度圖片爬取過程如下:

Python爬蟲:透過關鍵字爬取百度圖片爬取結果:

註:寫python程式碼注重對齊,and不能混用Tab和空格,易報錯。 🎜🎜更多Python爬蟲:透過關鍵字爬取百度圖片相關文章請追蹤PHP中文網! 🎜
陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn