>  기사  >  백엔드 개발  >  데이터 저장을 위해 Python Pymysql을 사용하는 방법은 무엇입니까?

데이터 저장을 위해 Python Pymysql을 사용하는 방법은 무엇입니까?

WBOY
WBOY앞으로
2023-04-23 20:34:151197검색

Python은 주로 Pymysql 모듈을 통해 MySQL 데이터베이스를 연결하고 운영합니다. 여기서는 캡처된 데이터를 MySQL 데이터베이스에 저장하는 방법을 설명합니다.

스토리지 데이터 테이블 만들기

우선 MySQL 데이터베이스가 컴퓨터에 설치되어 있는지 확인한 후 다음과 같이 진행해야 합니다.

# 1. 连接到mysql数据库
mysql -h227.0.0.1 -uroot -p123456
# 2. 建库
create database maoyandb charset utf8;
# 3. 切换数据库
use maoyandb;
# 4. 创建数据表
create table filmtab(
name varchar(100),
star varchar(400),
time varchar(30)
);

Pymysql 기본 사용

1) 데이터베이스 연결

db = pymysql.connect('localhost','root','123456','maoyandb')

매개변수 설명:

  • localhost: 로컬 MySQL 서버 주소 또는 원격 데이터베이스의 IP 주소.

  • root: 데이터에 연결하는 데 사용되는 사용자 이름입니다.

  • password: 데이터베이스에 연결하는 데 사용되는 비밀번호, 로컬 MySQL 서버 비밀번호는 "123456"입니다.

  • db: 연결된 데이터베이스의 이름입니다.

2) 커서 객체 생성

cursor = db.cursor()

3) sql 명령 실행

execute() 메소드를 사용하여 SQL 문을 실행합니다. 아래와 같이:

#第一种方法:编写sql语句,使用占位符传入相应数据
sql = "insert into filmtab values('%s','%s','%s')" % ('刺杀,小说家','雷佳音','2021')
cursor.excute(sql)
第二种方法:编写sql语句,使用列表传参方式
sql = 'insert into filmtab values(%s,%s,%s)'
cursor.execute(sql,['刺杀,小说家','雷佳音','2021'])

4) 데이터 제출

db.commit()

5) 데이터베이스 닫기

cursor.close()
db.close()

전체 코드는 다음과 같습니다.

# -*-coding:utf-8-*-
import pymysql
#创建对象
db = pymysql.connect('localhost','root','123456','maoyandb')
cursor = db.cursor()
# sql语句执性,单行插入
info_list = ['刺杀,小说家','雷佳音,杨幂','2021-2-12']
sql = 'insert into movieinfo values(%s,%s,%s)'
#列表传参
cursor.execute(sql,info_list)
db.commit()
# 关闭
cursor.close()
db.close()

다음과 같이 데이터 결과를 쿼리합니다.

mysql> select * from movieinfo;
+------------+------+------------+
| | 별                                                                    --+
| 암살, 소설가 2021-2-12 |
+---------------+------------ -- -----+------------+
1개 행(0.01초)

executemany()를 사용하여 여러 데이터 조각을 삽입하는 더 효율적인 방법도 있습니다. 동시에. 예는 다음과 같습니다.

db = pymysql.connect('localhost','root','123456','maoyandb',charset='utf8')
cursor = db.cursor()
# sql语句执性,列表元组
info_list = [('我不是药神','徐峥','2018-07-05'),('你好,李焕英','贾玲','2021-02-12')]
sql = 'insert into movieinfo values(%s,%s,%s)'
cursor.executemany(sql,info_list)
db.commit()
# 关闭
cursor.close()
db.close()

삽입 결과를 다음과 같이 쿼리합니다.

mysql> select * from movieinfo;

+-------------+--------- -- ---------+---+
| 이름                                                                                                                         ----------------+- -------+
| 나는 의술의 신이 아니다 | 쉬젱 | 2018-07-05 |
| 안녕하세요, 리환잉 | 2021-02-12 |
+---------------+------+--- ----- ----+
2행 세트(0.01초)

크롤러 프로그램 수정

이제 캡처된 데이터를 MySQL 데이터베이스에 저장하도록 크롤러 프로그램을 수정하세요. 아래와 같이:

# coding=gbk
from urllib import request
import re
import time
import random
from ua_info import ua_list
import pymysql
class MaoyanSpider(object):
    def __init__(self):
        #初始化属性对象
        self.url = 'https://maoyan.com/board/4?offset={}'
        #数据库连接对象
        self.db = pymysql.connect(
            'localhost','root','123456','maoyandb',charset='utf8')
        #创建游标对象
        self.cursor = self.db.cursor()
    def get_html(self,url):
        headers = {'User-Agent':random.choice(ua_list)}
        req = request.Request(url=url,headers=headers)
        res = request.urlopen(req)
        html = res.read().decode()
        # 直接解析
        self.parse_html(html)
    def parse_html(self,html):
        re_bds = &#39;<div class="movie-item-info">.*?title="(.*?)".*?<p class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>&#39;
        pattern = re.compile(re_bds,re.S)
        r_list = pattern.findall(html)
        self.save_html(r_list)
    def save_html(self, r_list):
        L = []
        sql = &#39;insert into movieinfo values(%s,%s,%s)&#39;
        # 整理数据
        for r in r_list:
            t = (
                r[0].strip(),
                r[1].strip()[3:],
                r[2].strip()[5:15]
            )
            L.append(t)
            print(L)
        # 一次性插入多条数据 L:[(),(),()]
        try:
            self.cursor.executemany(sql,L)
            # 将数据提交数据库
            self.db.commit()
        except:
            # 发生错误则回滚
            self.db.rollback()
    def run(self):
        for offset in range(0,11,10):
            url = self.url.format(offset)
            self.get_html(url)
            time.sleep(random.uniform(1,3))
        # 断开游标与数据库连接
        self.cursor.close()
        self.db.close()
if __name__ == &#39;__main__&#39;:
    start=time.time()
    spider = MaoyanSpider()
    spider.run()
    end=time.time()
    print("执行时间:%.2f" % (end-start))

데이터베이스 쿼리는 결과를 다음과 같이 저장합니다.

mysql> movieinfo에서 * 선택;
+---+---------------------- -----------------------+------------+ | ---------+
| 나는 의술의 신이 아니다 | Xu Zheng, Zhou Yiwei, Wang Chuanjun | 2018-07-05 |
| 쇼생크 구원 | 팀 로빈스, 모건 프리먼, 밥 건턴                                                             10 |
| 그린 북 | Viggo Mortensen, Mahershala Ali, Linda Cardellini | Tim Ross, Bill · ; Nunn, Clarence Williams III                                          2018-08-03 |
| 첩 | 장펑이(Zhang Fengyi), 공리(Gong Li)                                                                                                                                                                               , 저스티노 두르 아노, 세르지오 비니 버스테릭 2020-01-03 |
| 이 킬러는 별로 차갑지 않아 | Jean Reno, Gary Ord Mann, Natalie Portman                                            | 2010-09-01 |
+----------------+-------------------------------- ---------+--------------- ------+
10행 세트(0.01초)

위 내용은 데이터 저장을 위해 Python Pymysql을 사용하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명:
이 기사는 yisu.com에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제