Python爬取51cto資料存入MySQL方法詳解-Python教學-PHP中文網

首頁

後端開發

Python教學

Python爬取51cto資料存入MySQL方法詳解

coldplay.xixi

Aug 25, 2020 pm 04:29 PM

mysqlpython

Python爬取51cto資料存入MySQL方法詳解

【相關學習推薦：python教學】

#實驗環境

##1.安裝Python 3.7

2.安裝requests, bs4，pymysql 模組

實驗步驟1.安裝環境及模組

可參考https://www. jb51.net/article/194104.htm

2.編寫程式碼

# 51cto 博客页面数据插入mysql数据库
# 导入模块
import re
import bs4
import pymysql
import requests

# 连接数据库账号密码
db = pymysql.connect(host=&#39;172.171.13.229&#39;,
           user=&#39;root&#39;, passwd=&#39;abc123&#39;,
           db=&#39;test&#39;, port=3306,
           charset=&#39;utf8&#39;)
# 获取游标
cursor = db.cursor()

def open_url(url):
  # 连接模拟网页访问
  headers = {
    &#39;user-agent&#39;: &#39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) &#39;
           &#39;Chrome/57.0.2987.98 Safari/537.36&#39;}
  res = requests.get(url, headers=headers)
  return res

# 爬取网页内容
def find_text(res):
  soup = bs4.BeautifulSoup(res.text, &#39;html.parser&#39;)

  # 博客名
  titles = []
  targets = soup.find_all("a", class_="tit")
  for each in targets:
    each = each.text.strip()
    if "置顶" in each:
      each = each.split(&#39; &#39;)[0]
    titles.append(each)

  # 阅读量
  reads = []
  read1 = soup.find_all("p", class_="read fl on")
  read2 = soup.find_all("p", class_="read fl")
  for each in read1:
    reads.append(each.text)
  for each in read2:
    reads.append(each.text)

  # 评论数
  comment = []
  targets = soup.find_all("p", class_=&#39;comment fl&#39;)
  for each in targets:
    comment.append(each.text)

  # 收藏
  collects = []
  targets = soup.find_all("p", class_=&#39;collect fl&#39;)
  for each in targets:
    collects.append(each.text)

   # 发布时间
  dates=[]
  targets = soup.find_all("a", class_=&#39;time fl&#39;)
  for each in targets:
    each = each.text.split(&#39;：&#39;)[1]
    dates.append(each)

  # 插入sql 语句
  sql = """insert into blog (blog_title,read_number,comment_number, collect, dates)
  values( &#39;%s&#39;, &#39;%s&#39;, &#39;%s&#39;, &#39;%s&#39;, &#39;%s&#39;);"""
  # 替换页面 \xa0
  for titles, reads, comment, collects, dates in zip(titles, reads, comment, collects, dates):
    reads = re.sub(&#39;\s&#39;, &#39;&#39;, reads)
    comment = re.sub(&#39;\s&#39;, &#39;&#39;, comment)
    collects = re.sub(&#39;\s&#39;, &#39;&#39;, collects)
    cursor.execute(sql % (titles, reads, comment, collects，dates))
    db.commit()
    pass

# 统计总页数
def find_depth(res):
  soup = bs4.BeautifulSoup(res.text, &#39;html.parser&#39;)
  depth = soup.find(&#39;li&#39;, class_=&#39;next&#39;).previous_sibling.previous_sibling.text
  return int(depth)

# 主函数
def main():
  host = "https://blog.51cto.com/13760351"
  res = open_url(host) # 打开首页链接
  depth = find_depth(res) # 获取总页数

  # 爬取其他页面信息
  for i in range(1, depth + 1):
    url = host + &#39;/p&#39; + str(i) # 完整链接
    res = open_url(url) # 打开其他链接
    find_text(res) # 爬取数据

  # 关闭游标
  cursor.close()
  # 关闭数据库连接
  db.close()

if __name__ == &#39;__main__&#39;:
  main()

3..MySQL建立對應的表格

CREATE TABLE `blog` (
 `row_id` int(11) NOT NULL AUTO_INCREMENT COMMENT &#39;主键&#39;,
 `blog_title` varchar(52) DEFAULT NULL COMMENT &#39;博客标题&#39;,
 `read_number` varchar(26) DEFAULT NULL COMMENT &#39;阅读数量&#39;,
 `comment_number` varchar(16) DEFAULT NULL COMMENT &#39;评论数量&#39;,
 `collect` varchar(16) DEFAULT NULL COMMENT &#39;收藏数量&#39;,
 `dates` varchar(16) DEFAULT NULL COMMENT &#39;发布日期&#39;,
 PRIMARY KEY (`row_id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

# 4.執行程式碼，查看效果:

#改進版：

#改進內容：

1.資料庫裡面的某有些字段只保留數字即可

2.預設爬取的內容都是字串，存放資料庫的某些字段，最好改為整型，方便後面資料庫操作

1.程式碼如下：

import re
import bs4
import pymysql
import requests

# 连接数据库
db = pymysql.connect(host=&#39;172.171.13.229&#39;,
           user=&#39;root&#39;, passwd=&#39;abc123&#39;,
           db=&#39;test&#39;, port=3306,
           charset=&#39;utf8&#39;)
# 获取游标
cursor = db.cursor()

def open_url(url):
  # 连接模拟网页访问
  headers = {
    &#39;user-agent&#39;: &#39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) &#39;
           &#39;Chrome/57.0.2987.98 Safari/537.36&#39;}
  res = requests.get(url, headers=headers)
  return res

# 爬取网页内容
def find_text(res):
  soup = bs4.BeautifulSoup(res.text, &#39;html.parser&#39;)

  # 博客标题
  titles = []
  targets = soup.find_all("a", class_="tit")
  for each in targets:
    each = each.text.strip()
    if "置顶" in each:
      each = each.split(&#39; &#39;)[0]
    titles.append(each)

  # 阅读量
  reads = []
  read1 = soup.find_all("p", class_="read fl on")
  read2 = soup.find_all("p", class_="read fl")
  for each in read1:
    reads.append(each.text)
  for each in read2:
    reads.append(each.text)

  # 评论数
  comment = []
  targets = soup.find_all("p", class_=&#39;comment fl&#39;)
  for each in targets:
    comment.append(each.text)

  # 收藏
  collects = []
  targets = soup.find_all("p", class_=&#39;collect fl&#39;)
  for each in targets:
    collects.append(each.text)

  # 发布时间
  dates=[]
  targets = soup.find_all("a", class_=&#39;time fl&#39;)
  for each in targets:
    each = each.text.split(&#39;：&#39;)[1]
    dates.append(each)

  # 插入sql 语句
  sql = """insert into blogs (blog_title,read_number,comment_number, collect, dates)
  values( &#39;%s&#39;, &#39;%s&#39;, &#39;%s&#39;, &#39;%s&#39;, &#39;%s&#39;);"""
  # 替换页面 \xa0
  for titles, reads, comment, collects, dates in zip(titles, reads, comment, collects, dates):
    reads = re.sub(&#39;\s&#39;, &#39;&#39;, reads)
    reads=int(re.sub(&#39;\D&#39;, "", reads)) #匹配数字，转换为整型
    comment = re.sub(&#39;\s&#39;, &#39;&#39;, comment)
    comment = int(re.sub(&#39;\D&#39;, "", comment)) #匹配数字，转换为整型
    collects = re.sub(&#39;\s&#39;, &#39;&#39;, collects)
    collects = int(re.sub(&#39;\D&#39;, "", collects)) #匹配数字，转换为整型
    dates = re.sub(&#39;\s&#39;, &#39;&#39;, dates)
    cursor.execute(sql % (titles, reads, comment, collects,dates))
    db.commit()
    pass

# 统计总页数
def find_depth(res):
  soup = bs4.BeautifulSoup(res.text, &#39;html.parser&#39;)
  depth = soup.find(&#39;li&#39;, class_=&#39;next&#39;).previous_sibling.previous_sibling.text
  return int(depth)

# 主函数
def main():
  host = "https://blog.51cto.com/13760351"
  res = open_url(host) # 打开首页链接
  depth = find_depth(res) # 获取总页数

  # 爬取其他页面信息
  for i in range(1, depth + 1):
    url = host + &#39;/p&#39; + str(i) # 完整链接
    res = open_url(url) # 打开其他链接
    find_text(res) # 爬取数据

  # 关闭游标
  cursor.close()
  # 关闭数据库连接
  db.close()

#主程序入口
if __name__ == &#39;__main__&#39;:
  main()

2.建立對應表

CREATE TABLE `blogs` (
 `row_id` int(11) NOT NULL AUTO_INCREMENT COMMENT &#39;主键&#39;,
 `blog_title` varchar(52) DEFAULT NULL COMMENT &#39;博客标题&#39;,
 `read_number` int(26) DEFAULT NULL COMMENT &#39;阅读数量&#39;,
 `comment_number` int(16) DEFAULT NULL COMMENT &#39;评论数量&#39;,
 `collect` int(16) DEFAULT NULL COMMENT &#39;收藏数量&#39;,
 `dates` varchar(16) DEFAULT NULL COMMENT &#39;发布日期&#39;,
 PRIMARY KEY (`row_id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

3.運行程式碼，驗證

升級版

為了能讓小白就可以使用這個程序，可以把這個專案打包成exe格式的文件，讓其他人，使用電腦就可以運行程式碼，這樣非常方便！

1.改進程式碼：

#末尾修改为：
if __name__ == &#39;__main__&#39;:
  main()
  print("\n\t\t所有数据已成功存放数据库！!! \n")
  time.sleep(5)

2.安裝打包模組pyinstaller(cmd安裝）

pip install pyinstaller -i https://pypi.tuna. tsinghua.edu.cn/simple/

3.Python程式碼打包

#1.切換到需要打包程式碼的路徑下面

##2.在cmd視窗執行pyinstaller -F test03.py （test03為專案名稱）

#4.查看exe套件

在打包後會出現dist目錄，打好套件就在這個目錄裡面

5.運行exe包，查看效果

檢查資料庫

相關學習推薦：

mysql教學

以上是Python爬取51cto資料存入MySQL方法詳解的詳細內容。更多資訊請關注PHP中文網其他相關文章！

陳述

本文轉載於：jb51。如有侵權，請聯絡admin@php.cn刪除

Python和時間：充分利用您的學習時間Apr 14, 2025 am 12:02 AM

要在有限的時間內最大化學習Python的效率，可以使用Python的datetime、time和schedule模塊。 1.datetime模塊用於記錄和規劃學習時間。 2.time模塊幫助設置學習和休息時間。 3.schedule模塊自動化安排每週學習任務。

Python：遊戲，Guis等Apr 13, 2025 am 12:14 AM

Python在遊戲和GUI開發中表現出色。 1)遊戲開發使用Pygame，提供繪圖、音頻等功能，適合創建2D遊戲。 2)GUI開發可選擇Tkinter或PyQt，Tkinter簡單易用，PyQt功能豐富，適合專業開發。

Python vs.C：申請和用例Apr 12, 2025 am 12:01 AM

Python适合数据科学、Web开发和自动化任务，而C 适用于系统编程、游戏开发和嵌入式系统。Python以简洁和强大的生态系统著称，C 则以高性能和底层控制能力闻名。

2小時的Python計劃：一種現實的方法Apr 11, 2025 am 12:04 AM

2小時內可以學會Python的基本編程概念和技能。 1.學習變量和數據類型，2.掌握控制流（條件語句和循環），3.理解函數的定義和使用，4.通過簡單示例和代碼片段快速上手Python編程。

Python：探索其主要應用程序Apr 10, 2025 am 09:41 AM

Python在web開發、數據科學、機器學習、自動化和腳本編寫等領域有廣泛應用。 1)在web開發中，Django和Flask框架簡化了開發過程。 2)數據科學和機器學習領域，NumPy、Pandas、Scikit-learn和TensorFlow庫提供了強大支持。 3)自動化和腳本編寫方面，Python適用於自動化測試和系統管理等任務。