首頁 > 文章 > 後端開發 > 如何用Python爬蟲取得那些價值博文

如何用Python爬蟲取得那些價值博文

不言原創: 2018-04-04 15:06:562035瀏覽

本篇文章的內容是如何用Python爬蟲獲取那些價值博文，現在分享給大家，有需要的朋友可以參考一下這篇文章地的內容

如何用Python爬蟲取得那些價值博文

作者 CDA資料分析師

#在CSDN上有許多精彩的技術部落格文章，我們可以把它爬取下來，保存在本地磁盤，可以很方便以後閱讀和學習，現在我們就用python編寫一段爬蟲代碼，來實現這個目的。

我們想要做的事情：自動讀取部落格文章，記錄標題，把心儀的文章儲存到個人電腦硬碟裡供日後學習參考。

過程大體分成以下幾個步驟：

#1. 找到爬取的目標網址；
2. 分析網頁，找到自已想要保存的信息，這裡我們主要保存是博客的文章內容；
#3. 清洗整理爬取下來的信息，保存在本地磁盤。

#開啟csdn的網頁，作為一個範例，我們隨機開啟一個網頁：

http://blog.csdn.net/u013088062/article/list/1。

可以看到，部落客對《C++卷積神經網路》和它有關機電腦的文章都寫得不錯。

如何用Python爬蟲取得那些價值博文

############################# ####

爬蟲程式碼依想法分為三個類別（class），下面3個帶有「#」的分別給出了每一個類別的開頭（具體程式碼附後，供大家實際運行實作）：

如何用Python爬蟲取得那些價值博文

採用「類別（class）」的方式屬於Python的物件導向編程，在某些時候比我們通常使用的面向過程的編程方便，在大型工程中經常使用物件導向程式設計。對於初學者來說，物件導向程式設計不易掌握，但是經過學習習慣之後，會逐步慢慢從過程導向到物件導向程式設計過渡。

特別注意的是，RePage類別主要用正規表示式處理從網頁中取得的信息，而正規表示式設定字串樣式如下：

如何用Python爬蟲取得那些價值博文

用正規表示式去匹配所要爬取的內容，用Python和其它軟體工具都可以實現。正規表示式有許多規則，各個軟體使用起來大同小異。用好正規表示式是爬蟲和文字挖掘的一個重要內容。

############SaveText類別則是把資訊保存在本地，效果如下：########## ## ###################

如何用Python爬蟲取得那些價值博文

##用python寫爬蟲程式碼，簡潔又有效率。這篇文章僅從爬蟲最基本的用法做了講解，有興趣的朋友可以下載代碼看看，希望大家從中有收穫。

附相關Python程式碼：

##########################################

1#-*-coding:UTF-8-*- 2import re 3import urllib2 4import sys 5##目的：讀取部落格文章，記錄標題，用Htnl格式儲存記憶體內容 6#版本：python2.7.13 ## 7#功能：讀取網頁內容 8class GetHtmlPage(): 9 #注意大小寫 10 def __init__#__init__#(self,strPage): 11 self.strPapge = strPage #12 # c ##of ##13 def#GetPage(self):14 #14 14 = urllib2.Request(self.strPapge) # 建立頁面請求15 # 建立頁面要求 ######15### 1 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0"#########################################################################################################################################################################################################################）16 try: 17 網頁請求 18 page = cn.read() uPage = page.decode("utf-8") #網頁編碼20 cn.close()21 # 21 時# except urllib2.URLError, e: #擷取例外圖 23 # print ##o# #, e. code24 return 25 o #捕捉例外圖 26 print 'HTTP Error:' + .reason return 28 return rePage 29##正規表示式，取得想要的內容##30class RePage(): 31#正規表示式擷取內容，返回鍊錶 32 def GetReText(self,page,recode): 33 rePage = re.findall(recode,page,re.S) 34 return rePage 35#儲存文字 36#class SaveText(): 37 def#Save(self,text,tilte): 38 try :39 t="blog\\"+tilte+".html" 40 f = file(t,"a" )41 f.write(text)## 42 f.close() 43 except IOError,e: ## 44## 45if __name__ == "__main__":46 s = SaveText() 47 #檔案編碼 48# ##字元正確解碼 #49 reload(sys) 50 sys.setdefaultencoding( "utf-8" ) #取得系統的預設編碼 51 # 取得網頁 52 page = GetHtmlPage("http://blog.csdn.net/ u013088062/article/list/1") 53 htmlPage = page.GetPage() #54 54 #。 #55 reServer = RePage()56 reBlog = reServer.GetReText(htmlPage,r' .*?(\s.+?)') #取得網址連結與標題57 ####再向下取得文字#########58## # ###for### ref ###in### reBlog:#######59### pageHeard = ###"http://blog.csdn.net/"### ## ##加上連結頭#########60### strPage = pageHeard+ref[###0###]######61### tilte=ref[#####61### tilte=ref[#####1 ###].replace(###'###[置頂]###'###, ###""###) ####用替換的功能去除雜的英文##### #####62### tilte=tilte.replace(###"\r\n"###,###""###).lstrip().rstrip()###63 ##取得文字 64 htmlPage = GetHtmlPage(strPage) 65age#Phtml ##66 reBlogText = reServer.GetReText(htmlPageData,'

(.+?)

#(.+?) #(.+?) #(.+?)

#(.+?)

')67 #儲存檔案

68 for s1

reBlogText :69 s1='\n'

+s1

# s.Save(s1,tilte)## s.Save(s1,tilte)## ########相關推薦：##################php實作簡單爬蟲的開發案例############## ####Python爬蟲瀏覽器標識庫###################記錄一次簡單的Python爬蟲實例################ ###

以上是如何用Python爬蟲取得那些價值博文的詳細內容。更多資訊請關注PHP中文網其他相關文章！

Python php 正则表达式 chrome safari html print for 面向对象 try Error 字符串 .net class 对象 windows 数据分析 http

陳述：

本文內容由網友自願投稿，版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容，請聯絡admin@php.cn

上一篇：python如何實現視覺化熱力學圖下一篇：python如何實現視覺化熱力學圖

看更多