使用工具:Python2.7
scrapy框架
sublime text3
一。建立python(Windows版本)
1.安裝python2.7 ---然後在cmd當中輸入python,介面如下則安裝成功
2.整合Scrapy框架----輸入命令列:pip install Scrapy
安裝成功介面如下:
失敗的情況很多,舉例一種:
解決方案:
解。 二。開始編程。python程式碼如下:
程式碼註解:引入了兩個模組urllib,re。定義兩個函數,第一個函數是取得整個目標網頁數據,第二個函數是在目標網頁中取得目標圖片,遍歷網頁,並且給予所取得的圖片依照0開始排序。註:re模組知識點:
爬取圖片效果圖:
圖片保存路徑預設在建立的.py同目錄檔案下。 2.爬取有反爬蟲措施的百度圖片。如百度圖片等。 例如關鍵字搜尋「表情包」https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gbk&word=%B1%ED%C7%E9%B0%FC&fr= ala&ori_query=%E8%A1%A8%E6%83%85%E5%8C%85&ala=0&alatpl=sp&pos=0&hs=2&xthttps=11111圖片採用滾動式加載,先爬取最優先的30張圖片。程式碼如下:
程式碼註解:導入4個模組,os模組用於指定保存路徑。前兩個函數同上。第三個函數使用了if語句,並且tryException異常。爬取過程如下:
爬取結果:
註:寫python程式碼注重對齊,and不能混用Tab和空格,易報錯。 🎜🎜更多Python爬蟲:透過關鍵字爬取百度圖片相關文章請追蹤PHP中文網! 🎜