搜尋

首頁 >後端開發 >Python教學 >如何使用 Python Pymysql 進行資料儲存？

如何使用 Python Pymysql 進行資料儲存？

WBOY
WBOY轉載
2023-04-23 20:34:151212瀏覽

Python 連接並操作 MySQL 資料庫，主要透過 Pymysql 模組實現。這裡講解如何將抓取的資料儲存至 MySQL 資料庫。

建立儲存資料表

首先您應該確定您的電腦上已經安裝了MySQL 資料庫，然後再進行以下操作：

# 1. 连接到mysql数据库
mysql -h227.0.0.1 -uroot -p123456
# 2. 建库
create database maoyandb charset utf8;
# 3. 切换数据库
use maoyandb;
# 4. 创建数据表
create table filmtab(
name varchar(100),
star varchar(400),
time varchar(30)
);

Pymysql基本上使用

#1) 連線資料庫

db = pymysql.connect('localhost','root','123456','maoyandb')

參數說明：

  • localhost：本機MySQL 服務端位址，也可以是遠端資料庫的IP 位址。

  • root：連接資料所使用的使用者名稱。

  • password：連接資料庫使用的密碼，本機 MySQL 服務端密碼「123456」。

  • db：連接的資料庫名稱。

2) 建立cursor物件

cursor = db.cursor()

3) 執行sql指令

execute() 方法用來執行 SQL 語句。如下所示：

#第一种方法：编写sql语句，使用占位符传入相应数据
sql = "insert into filmtab values('%s','%s','%s')" % ('刺杀,小说家','雷佳音','2021')
cursor.excute(sql)
第二种方法：编写sql语句，使用列表传参方式
sql = 'insert into filmtab values(%s,%s,%s)'
cursor.execute(sql,['刺杀,小说家','雷佳音','2021'])

4) 提交資料

db.commit()

5) 關閉資料庫

cursor.close()
db.close()

完整的程式碼如下所示：

# -*-coding:utf-8-*-
import pymysql
#创建对象
db = pymysql.connect('localhost','root','123456','maoyandb')
cursor = db.cursor()
# sql语句执性，单行插入
info_list = ['刺杀,小说家','雷佳音,杨幂','2021-2-12']
sql = 'insert into movieinfo values(%s,%s,%s)'
#列表传参
cursor.execute(sql,info_list)
db.commit()
# 关闭
cursor.close()
db.close()

查詢資料結果，如下所示：

mysql> select * from movieinfo;
------------- ------------- ------ -----------
| name        | star              | time      |
------------- ------- ------------ -----------
| 刺殺,小說家  | 雷佳音,楊冪        | 2021-2-12 |
----- -------- ------------------- -----------
1 rows in set (0.01 sec)

還有一個效率較高的方法，使用executemany() 可以同時插入多個資料。範例如下：

db = pymysql.connect('localhost','root','123456','maoyandb',charset='utf8')
cursor = db.cursor()
# sql语句执性，列表元组
info_list = [('我不是药神','徐峥','2018-07-05'),('你好,李焕英','贾玲','2021-02-12')]
sql = 'insert into movieinfo values(%s,%s,%s)'
cursor.executemany(sql,info_list)
db.commit()
# 关闭
cursor.close()
db.close()

查詢插入結果，如下所示：

mysql> select * from movieinfo;
------------- ------------------- ------------
| name        | star              | time       |
------ ------- ------------------- ------------
| 我不是藥神 | 徐崢             | 2018 -07-05 |
| 你好,李煥英| 賈玲             | 2021-02-12 |
------------- ----------- --------------------
2 rows in set (0.01 sec)

# 修改爬蟲程式

下面修改一下爬蟲程序，將抓取下來的資料儲存到MySQL 資料庫。如下所示：

# coding=gbk
from urllib import request
import re
import time
import random
from ua_info import ua_list
import pymysql
class MaoyanSpider(object):
    def __init__(self):
        #初始化属性对象
        self.url = 'https://maoyan.com/board/4?offset={}'
        #数据库连接对象
        self.db = pymysql.connect(
            'localhost','root','123456','maoyandb',charset='utf8')
        #创建游标对象
        self.cursor = self.db.cursor()
    def get_html(self,url):
        headers = {'User-Agent':random.choice(ua_list)}
        req = request.Request(url=url,headers=headers)
        res = request.urlopen(req)
        html = res.read().decode()
        # 直接解析
        self.parse_html(html)
    def parse_html(self,html):
        re_bds = &#39;<div class="movie-item-info">.*?title="(.*?)".*?<p class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>&#39;
        pattern = re.compile(re_bds,re.S)
        r_list = pattern.findall(html)
        self.save_html(r_list)
    def save_html(self, r_list):
        L = []
        sql = &#39;insert into movieinfo values(%s,%s,%s)&#39;
        # 整理数据
        for r in r_list:
            t = (
                r[0].strip(),
                r[1].strip()[3:],
                r[2].strip()[5:15]
            )
            L.append(t)
            print(L)
        # 一次性插入多条数据 L:[(),(),()]
        try:
            self.cursor.executemany(sql,L)
            # 将数据提交数据库
            self.db.commit()
        except:
            # 发生错误则回滚
            self.db.rollback()
    def run(self):
        for offset in range(0,11,10):
            url = self.url.format(offset)
            self.get_html(url)
            time.sleep(random.uniform(1,3))
        # 断开游标与数据库连接
        self.cursor.close()
        self.db.close()
if __name__ == &#39;__main__&#39;:
    start=time.time()
    spider = MaoyanSpider()
    spider.run()
    end=time.time()
    print("执行时间:%.2f" % (end-start))

資料庫查詢儲存結果，如下所示：

mysql> select * from movieinfo;
---------------- ------------------ ---------------------------------------- ---------- --
| name           | star                                                     | time       |
---------------- ------------------- --------------------------------------- ----------- -
| 我不是藥神    | 徐崢,週一圍,王傳君                                 )  |8,0005 | middot;羅賓斯,摩根·弗里曼,鮑伯·岡頓                                                 | 1994-09-10 |
| 綠皮書                      | 2019-03-01 |
| 離岸鋼琴師    | Tim·羅斯,比爾·努恩,克蘭倫斯·威廉斯三世                                                            | 2018 -08-03 |
| 霸王別姬      | 張國榮,張豐毅,鞏俐                     吒之魔童降世| 呂艷婷,囧森瑟夫,瀚墨                                            -26 |
| 美麗人生      | 羅伯托·貝尼尼,朱斯蒂諾·杜拉諾,賽爾喬·比尼·布斯特里克                 | 2020-01-030-0101 |
| 這個殺手不太冷| 讓·雷諾,加里·奧德曼,娜塔莉·波特曼                               | ;迪卡普里奧,渡邊謙,約瑟夫·戈登-萊維特                       | 2010-09-01 |
---------------- ----- -------------------------------------------------- --- ------------
10 rows in set (0.01 sec)

以上是如何使用 Python Pymysql 進行資料儲存？的詳細內容。更多資訊請關注PHP中文網其他相關文章！

陳述：
本文轉載於：yisu.com。如有侵權，請聯絡admin@php.cn刪除
上一篇：介紹並使用 Python 的 HTTPX Web 用戶端下一篇：介紹並使用 Python 的 HTTPX Web 用戶端

相關文章

看更多