如何用Python爬蟲取得那些價值博文-Python教學-PHP中文網

首頁

後端開發

Python教學

如何用Python爬蟲取得那些價值博文

不言

Apr 04, 2018 pm 03:06 PM

python獲取

本篇文章的內容是如何用Python爬蟲獲取那些價值博文，現在分享給大家，有需要的朋友可以參考一下這篇文章地的內容

如何用Python爬蟲取得那些價值博文

作者 CDA資料分析師

#在CSDN上有許多精彩的技術部落格文章，我們可以把它爬取下來，保存在本地磁盤，可以很方便以後閱讀和學習，現在我們就用python編寫一段爬蟲代碼，來實現這個目的。

我們想要做的事情：自動讀取部落格文章，記錄標題，把心儀的文章儲存到個人電腦硬碟裡供日後學習參考。

過程大體分成以下幾個步驟：

#1. 找到爬取的目標網址；
2. 分析網頁，找到自已想要保存的信息，這裡我們主要保存是博客的文章內容；
#3. 清洗整理爬取下來的信息，保存在本地磁盤。

#開啟csdn的網頁，作為一個範例，我們隨機開啟一個網頁：

http://blog.csdn.net/u013088062/article/list/1。

可以看到，部落客對《C++卷積神經網路》和它有關機電腦的文章都寫得不錯。

如何用Python爬蟲取得那些價值博文

############################# ####

爬蟲程式碼依想法分為三個類別（class），下面3個帶有「#」的分別給出了每一個類別的開頭（具體程式碼附後，供大家實際運行實作）：

如何用Python爬蟲取得那些價值博文

採用「類別（class）」的方式屬於Python的物件導向編程，在某些時候比我們通常使用的面向過程的編程方便，在大型工程中經常使用物件導向程式設計。對於初學者來說，物件導向程式設計不易掌握，但是經過學習習慣之後，會逐步慢慢從過程導向到物件導向程式設計過渡。

特別注意的是，RePage類別主要用正規表示式處理從網頁中取得的信息，而正規表示式設定字串樣式如下：

如何用Python爬蟲取得那些價值博文

用正規表示式去匹配所要爬取的內容，用Python和其它軟體工具都可以實現。正規表示式有許多規則，各個軟體使用起來大同小異。用好正規表示式是爬蟲和文字挖掘的一個重要內容。

############SaveText類別則是把資訊保存在本地，效果如下：########## ## ###################

如何用Python爬蟲取得那些價值博文

##用python寫爬蟲程式碼，簡潔又有效率。這篇文章僅從爬蟲最基本的用法做了講解，有興趣的朋友可以下載代碼看看，希望大家從中有收穫。

附相關Python程式碼：

##########################################

1#-*-coding:UTF-8-*- 2import re 3import urllib2 4import sys 5##目的：讀取部落格文章，記錄標題，用Htnl格式儲存記憶體內容 6#版本：python2.7.13 ## 7#功能：讀取網頁內容 8class GetHtmlPage(): 9 #注意大小寫 10 def __init__#__init__#(self,strPage): 11 self.strPapge = strPage #12 # c ##of ##13 def#GetPage(self):14 #14 14 = urllib2.Request(self.strPapge) # 建立頁面請求15 # 建立頁面要求 ######15### 1 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0"#########################################################################################################################################################################################################################）16 try: 17 網頁請求 18 page = cn.read() uPage = page.decode("utf-8") #網頁編碼20 cn.close()21 # 21 時# except urllib2.URLError, e: #擷取例外圖 23 # print ##o# #, e. code24 return 25 o #捕捉例外圖 26 print 'HTTP Error:' + .reason return 28 return rePage 29##正規表示式，取得想要的內容##30class RePage(): 31#正規表示式擷取內容，返回鍊錶 32 def GetReText(self,page,recode): 33 rePage = re.findall(recode,page,re.S) 34 return rePage 35#儲存文字 36#class SaveText(): 37 def#Save(self,text,tilte): 38 try :39 t="blog\\"+tilte+".html" 40 f = file(t,"a" )41 f.write(text)## 42 f.close() 43 except IOError,e: ## 44## 45if __name__ == "__main__":46 s = SaveText() 47 #檔案編碼 48# ##字元正確解碼 #49 reload(sys) 50 sys.setdefaultencoding( "utf-8" ) #取得系統的預設編碼 51 # 取得網頁 52 page = GetHtmlPage("http://blog.csdn.net/ u013088062/article/list/1") 53 htmlPage = page.GetPage() #54 54 #。 #55 reServer = RePage()56 reBlog = reServer.GetReText(htmlPage,r' .*?(\s.+?)') #取得網址連結與標題57 ####再向下取得文字#########58## # ###for### ref ###in### reBlog:#######59### pageHeard = ###"http://blog.csdn.net/"### ## ##加上連結頭#########60### strPage = pageHeard+ref[###0###]######61### tilte=ref[#####61### tilte=ref[#####1 ###].replace(###'###[置頂]###'###, ###""###) ####用替換的功能去除雜的英文##### #####62### tilte=tilte.replace(###"\r\n"###,###""###).lstrip().rstrip()###63 ##取得文字 64 htmlPage = GetHtmlPage(strPage) 65age#Phtml ##66 reBlogText = reServer.GetReText(htmlPageData,'

(.+?)

#(.+?) #(.+?) #(.+?)

#(.+?)

')67 #儲存檔案

68 for s1

reBlogText :69 s1='\n'

+s1

# s.Save(s1,tilte)## s.Save(s1,tilte)## ########相關推薦：##################php實作簡單爬蟲的開發案例############## ####Python爬蟲瀏覽器標識庫###################記錄一次簡單的Python爬蟲實例################ ###

以上是如何用Python爬蟲取得那些價值博文的詳細內容。更多資訊請關注PHP中文網其他相關文章！

陳述

本文內容由網友自願投稿，版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容，請聯絡admin@php.cn

Python：遊戲，Guis等Apr 13, 2025 am 12:14 AM

Python在遊戲和GUI開發中表現出色。 1)遊戲開發使用Pygame，提供繪圖、音頻等功能，適合創建2D遊戲。 2)GUI開發可選擇Tkinter或PyQt，Tkinter簡單易用，PyQt功能豐富，適合專業開發。

Python vs.C：申請和用例Apr 12, 2025 am 12:01 AM

Python适合数据科学、Web开发和自动化任务，而C 适用于系统编程、游戏开发和嵌入式系统。Python以简洁和强大的生态系统著称，C 则以高性能和底层控制能力闻名。

2小時的Python計劃：一種現實的方法Apr 11, 2025 am 12:04 AM

2小時內可以學會Python的基本編程概念和技能。 1.學習變量和數據類型，2.掌握控制流（條件語句和循環），3.理解函數的定義和使用，4.通過簡單示例和代碼片段快速上手Python編程。

Python：探索其主要應用程序Apr 10, 2025 am 09:41 AM

Python在web開發、數據科學、機器學習、自動化和腳本編寫等領域有廣泛應用。 1)在web開發中，Django和Flask框架簡化了開發過程。 2)數據科學和機器學習領域，NumPy、Pandas、Scikit-learn和TensorFlow庫提供了強大支持。 3)自動化和腳本編寫方面，Python適用於自動化測試和系統管理等任務。