使用python Selenium爬取內容並儲存MySQL資料庫的實例圖解
- 高洛峰原創
- 2017-03-17 09:30:262211瀏覽
這篇文章主要介紹了python Selenium爬取內容並儲存至MySQL資料庫的實作程式碼,需要的朋友可以參考下
前面我通過一篇文章講述如何爬取CSDN的部落格摘要等資訊。通常，在使用Selenium爬蟲爬取資料後，需要儲存在TXT文字中，但這是很難進行資料處理和資料分析的。這篇文章主要講述透過Selenium爬取我的個人部落格信息，然後儲存在資料庫MySQL中，以便對資料進行分析，例如分析哪個時間段發表的部落格多、結合WordCloud分析文章的主題、文章閱讀量排名等。
這是一篇基礎性的文章，希望對您有幫助，如果文章中出現錯誤或不足之處，也請海涵。下一篇文章會簡單講解數據分析的過程。
一. 爬取的結果
爬取的位址為：http://blog.csdn.net/Eastmount
爬取並儲存至MySQL資料庫的結果如下：
## 執行過程如下圖所示：
二. 完整程式碼分析
完整程式碼如下：
# coding=utf-8
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import selenium.webdriver.support.ui as ui
import re
import time
import os
import codecs
import MySQLdb
#打开Firefox浏览器 设定等待加载时间
driver = webdriver.Firefox()
wait = ui.WebDriverWait(driver,10)
#获取每个博主的博客页面低端总页码
def getPage():
print 'getPage'
number = 0
texts = driver.find_element_by_xpath("//p[@id='papelist']").text
print '页码', texts
m = re.findall(r'(\w*[0-9]+)\w*',texts) #正则表达式寻找数字
print '页数：' + str(m[1])
return int(m[1])
#主函数
def main():
#获取txt文件总行数
count = len(open("Blog_URL.txt",'rU').readlines())
print count
n = 0
urlfile = open("Blog_URL.txt",'r')
#循环获取每个博主的文章摘信息
while n < count: #这里爬取2个人博客信息，正常情况count个博主信息
url = urlfile.readline()
url = url.strip("\n")
print url
driver.get(url)
#获取总页码
allPage = getPage()
print u'页码总数为:', allPage
time.sleep(2)
#数据库操作结合
try:
conn=MySQLdb.connect(host='localhost',user='root',
passwd='123456',port=3306, db='test01')
cur=conn.cursor() #数据库游标
#报错:UnicodeEncodeError: 'latin-1' codec can't encode character
conn.set_character_set('utf8')
cur.execute('SET NAMES utf8;')
cur.execute('SET CHARACTER SET utf8;')
cur.execute('SET character_set_connection=utf8;')
#具体内容处理
m = 1 #第1页
while m <= allPage:
ur = url + "/article/list/" + str(m)
print ur
driver.get(ur)
#标题
article_title = driver.find_elements_by_xpath("//p[@class='article_title']")
for title in article_title:
#print url
con = title.text
con = con.strip("\n")
#print con + '\n'
#摘要
article_description = driver.find_elements_by_xpath("//p[@class='article_description']")
for description in article_description:
con = description.text
con = con.strip("\n")
#print con + '\n'
#信息
article_manage = driver.find_elements_by_xpath("//p[@class='article_manage']")
for manage in article_manage:
con = manage.text
con = con.strip("\n")
#print con + '\n'
num = 0
print u'长度', len(article_title)
while num < len(article_title):
#插入数据 8个值
sql = '''insert into csdn_blog
(URL,Author,Artitle,Description,Manage,FBTime,YDNum,PLNum)
values(%s, %s, %s, %s, %s, %s, %s, %s)'''
Artitle = article_title[num].text
Description = article_description[num].text
Manage = article_manage[num].text
print Artitle
print Description
print Manage
#获取作者
Author = url.split('/')[-1]
#获取阅读数和评论数
mode = re.compile(r'\d+\.?\d*')
YDNum = mode.findall(Manage)[-2]
PLNum = mode.findall(Manage)[-1]
print YDNum
print PLNum
#获取发布时间
end = Manage.find(u' 阅读')
FBTime = Manage[:end]
cur.execute(sql, (url, Author, Artitle, Description, Manage,FBTime,YDNum,PLNum))
num = num + 1
else:
print u'数据库插入成功'
m = m + 1
#异常处理
except MySQLdb.Error,e:
print "Mysql Error %d: %s" % (e.args[0], e.args[1])
finally:
cur.close()
conn.commit()
conn.close()
n = n + 1
else:
urlfile.close()
print 'Load Over'
main()在Blog_Url.txt檔案中放置需要爬取使用者的部落格位址URL，如下圖所示。注意在此處，作者預先寫了個爬取CSDN所有專家的URL程式碼，這裡為訪問其他人用於提升閱讀量已省略。
1.取得部落客總頁碼先從Blog_Url.txt讀取部落客位址，然後存取並取得頁碼總數。程式碼如下：
#获取每个博主的博客页面低端总页码
def getPage():
print 'getPage'
number = 0
texts = driver.find_element_by_xpath("//p[@id='papelist']").text
print '页码', texts
m = re.findall(r'(\w*[0-9]+)\w*',texts) #正则表达式寻找数字
print '页数：' + str(m[1])
return int(m[1])例如取得總頁碼位元17頁，如下圖所示：
這裡的部落格翻頁採用的是URL連接，比較方便。 如：http://blog.csdn.net/Eastmount/article/list/2
故只需要：1.取得總頁碼；2.爬取每頁資訊；3.URL設定進行循環翻頁；4.再爬取。
也可以採用點擊"下頁"跳轉，沒有"下頁"停止跳轉，爬蟲結束，接著爬取下一個博主。
然後檢視元素分析每個部落格頁面，如果採用Beaut# if
ulSoup爬取會報錯"Forbidden"。 發現每篇文章都是由一個e388a4556c0f65e1904146cc1a846bee94b3e26ee717c64999d7867364b1b4a3組成，如下所示，只需要定位到該位置即可。
這裡定位到該位置即可爬取，這裡需要分別定位標題、摘要、時間。
代码如下所示。注意，在while中同时获取三个值，它们是对应的。
#标题
article_title = driver.find_elements_by_xpath("//p[@class='article_title']")
for title in article_title:
con = title.text
con = con.strip("\n")
print con + '\n'
#摘要
article_description = driver.find_elements_by_xpath("//p[@class='article_description']")
for description in article_description:
con = description.text
con = con.strip("\n")
print con + '\n'
#信息
article_manage = driver.find_elements_by_xpath("//p[@class='article_manage']")
for manage in article_manage:
con = manage.text
con = con.strip("\n")
print con + '\n'
num = 0
print u'长度', len(article_title)
while num < len(article_title):
Artitle = article_title[num].text
Description = article_description[num].text
Manage = article_manage[num].text
print Artitle, Description, Manage 4.特殊字符串处理
获取URL最后一个/后的博主名称、获取字符串时间、阅读数代码如下：
#获取博主姓名 url = "http://blog.csdn.net/Eastmount" print url.split('/')[-1] #输出: Eastmount #获取数字 name = "2015-09-08 18:06 阅读(909) 评论(0)" print name import re mode = re.compile(r'\d+\.?\d*') print mode.findall(name) #输出: ['2015', '09', '08', '18', '06', '909', '0'] print mode.findall(name)[-2] #输出: 909 #获取时间 end = name.find(r' 阅读') print name[:end] #输出: 2015-09-08 18:06 import time, datetime a = time.strptime(name[:end],'%Y-%m-%d %H:%M') print a #输出: time.struct_time(tm_year=2015, tm_mon=9, tm_mday=8, tm_hour=18, tm_min=6, # tm_sec=0, tm_wday=1, tm_yday=251, tm_isdst=-1)
三. 数据库相关操作
SQL语句创建表代码如下：
CREATE TABLE `csdn` ( `ID` int(11) NOT NULL AUTO_INCREMENT, `URL` varchar(100) COLLATE utf8_bin DEFAULT NULL, `Author` varchar(50) COLLATE utf8_bin DEFAULT NULL COMMENT '作者', `Artitle` varchar(100) COLLATE utf8_bin DEFAULT NULL COMMENT '标题', `Description` varchar(400) COLLATE utf8_bin DEFAULT NULL COMMENT '摘要', `Manage` varchar(100) COLLATE utf8_bin DEFAULT NULL COMMENT '信息', `FBTime` datetime DEFAULT NULL COMMENT '发布日期', `YDNum` int(11) DEFAULT NULL COMMENT '阅读数', `PLNum` int(11) DEFAULT NULL COMMENT '评论数', `DZNum` int(11) DEFAULT NULL COMMENT '点赞数', PRIMARY KEY (`ID`) ) ENGINE=InnoDB AUTO_INCREMENT=9371 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
显示如下图所示：
其中，Python调用MySQL推荐下面这篇文字。
python专题九.Mysql数据库编程基础知识
核心代码如下所示：
# coding:utf-8 import MySQLdb try: conn=MySQLdb.connect(host='localhost',user='root',passwd='123456',port=3306, db='test01') cur=conn.cursor() #插入数据 sql = '''insert into student values(%s, %s, %s)''' cur.execute(sql, ('yxz','111111', '10')) #查看数据 print u'\n插入数据:' cur.execute('select * from student') for data in cur.fetchall(): print '%s %s %s' % data cur.close() conn.commit() conn.close() except MySQLdb.Error,e: print "Mysql Error %d: %s" % (e.args[0], e.args[1])
注意，在下载过程中，有的网站是新版本的，无法获取页码。
比如：http://blog.csdn.net/michaelzhou224
这时需要简单设置，跳过这些链接，并保存到文件中，核心代码如下所示：
#获取每个博主的博客页面低端总页码
def getPage():
print 'getPage'
number = 0
#texts = driver.find_element_by_xpath("//p[@id='papelist']").text
texts = driver.find_element_by_xpath("//p[@class='pagelist']").text
print 'testsss'
print u'页码', texts
if texts=="":
print u'页码为0 网站错误'
return 0
m = re.findall(r'(\w*[0-9]+)\w*',texts) #正则表达式寻找数字
print u'页数：' + str(m[1])
return int(m[1])主函数修改：
error = codecs.open("Blog_Error.txt", 'a', 'utf-8')
#循环获取每个博主的文章摘信息
while n < count: #这里爬取2个人博客信息，正常情况count个博主信息
url = urlfile.readline()
url = url.strip("\n")
print url
driver.get(url+"/article/list/1")
#print driver.page_source
#获取总页码
allPage = getPage()
print u'页码总数为:', allPage
#返回错误，否则程序总截住
if allPage==0:
error.write(url + "\r\n")
print u'错误URL'
continue; #跳过进入下一个博主
time.sleep(2)
#数据库操作结合
try:
.....以上是使用python Selenium爬取內容並儲存MySQL資料庫的實例圖解的詳細內容。更多資訊請關注PHP中文網其他相關文章！
陳述：
本文內容由網友自願投稿，版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容，請聯絡admin@php.cn