Python 증분 루프가 MySQL 테이블 데이터를 삭제합니다.

수요 시나리오:

MySQL 5.5 버전을 사용하는 비즈니스 데이터베이스가 있으며 매일 많은 양의 데이터가 기록됩니다. 여러 테이블에서 "지정된 기간" 이전에 데이터를 삭제하는 것은 SQL SERVER에서 쉽게 구현할 수 있습니다. MySQL에도 비슷한 기능이 있지만 능숙하지 않아서 Python을 사용하여 구현합니다. 🎜>

할 말 없음, 상위 스크립트:

# coding: utf-8
import MySQLdb
import time
# delete config
DELETE_DATETIME = '2016-08-31 23:59:59'
DELETE_ROWS = 10000
EXEC_DETAIL_FILE = 'exec_detail.txt'
SLEEP_SECOND_PER_BATCH = 0.5
DATETIME_FORMAT = '%Y-%m-%d %X'
# MySQL Connection Config
Default_MySQL_Host = 'localhost'
Default_MySQL_Port = 3358
Default_MySQL_User = "root"
Default_MySQL_Password = 'roo@01239876'
Default_MySQL_Charset = "utf8"
Default_MySQL_Connect_TimeOut = 120
Default_Database_Name = 'testdb001'
def get_time_string(dt_time):
"""
获取指定格式的时间字符串
:param dt_time: 要转换成字符串的时间
:return: 返回指定格式的字符串
"""
global DATETIME_FORMAT
return time.strftime(DATETIME_FORMAT, dt_time)
def print_info(message):
"""
将message输出到控制台，并将message写入到日志文件
:param message: 要输出的字符串
:return: 无返回
"""
print(message)
global EXEC_DETAIL_FILE
new_message = get_time_string(time.localtime()) + chr(13) + str(message)
write_file(EXEC_DETAIL_FILE, new_message)
def write_file(file_path, message):
"""
将传入的message追加写入到file_path指定的文件中
请先创建文件所在的目录
:param file_path: 要写入的文件路径
:param message: 要写入的信息
:return:
"""
file_handle = open(file_path, 'a')
file_handle.writelines(message)
# 追加一个换行以方便浏览
file_handle.writelines(chr(13))
file_handle.close()
def get_mysql_connection():
"""
根据默认配置返回数据库连接
:return: 数据库连接
"""
conn = MySQLdb.connect(
host=Default_MySQL_Host,
port=Default_MySQL_Port,
user=Default_MySQL_User,
passwd=Default_MySQL_Password,
connect_timeout=Default_MySQL_Connect_TimeOut,
charset=Default_MySQL_Charset,
db=Default_Database_Name
)
return conn
def mysql_exec(sql_script, sql_param=None):
"""
执行传入的脚本，返回影响行数
:param sql_script:
:param sql_param:
:return: 脚本最后一条语句执行影响行数
"""
try:
conn = get_mysql_connection()
print_info("在服务器{0}上执行脚本:{1}".format(
conn.get_host_info(), sql_script))
cursor = conn.cursor()
if sql_param is not None:
cursor.execute(sql_script, sql_param)
row_count = cursor.rowcount
else:
cursor.execute(sql_script)
row_count = cursor.rowcount
conn.commit()
cursor.close()
conn.close()
except Exception, e:
print_info("execute exception:" + str(e))
row_count = 0
return row_count
def mysql_query(sql_script, sql_param=None):
"""
执行传入的SQL脚本，并返回查询结果
:param sql_script:
:param sql_param:
:return: 返回SQL查询结果
"""
try:
conn = get_mysql_connection()
print_info("在服务器{0}上执行脚本:{1}".format(
conn.get_host_info(), sql_script))
cursor = conn.cursor()
if sql_param != '':
cursor.execute(sql_script, sql_param)
else:
cursor.execute(sql_script)
exec_result = cursor.fetchall()
cursor.close()
conn.close()
return exec_result
except Exception, e:
print_info("execute exception:" + str(e))
def get_id_range(table_name):
"""
按照传入的表获取要删除数据最大ID、最小ID、删除总行数
:param table_name: 要删除的表
:return: 返回要删除数据最大ID、最小ID、删除总行数
"""
global DELETE_DATETIME
sql_script = """
SELECT
MAX(ID) AS MAX_ID,
MIN(ID) AS MIN_ID,
COUNT(1) AS Total_Count
FROM {0}
WHERE create_time <=&#39;{1}&#39;;
""".format(table_name, DELETE_DATETIME)
query_result = mysql_query(sql_script=sql_script, sql_param=None)
max_id, min_id, total_count = query_result[0]
# 此处有一坑，可能出现total_count不为0 但是max_id 和min_id 为None的情况
# 因此判断max_id和min_id 是否为NULL
if (max_id is None) or (min_id is None):
max_id, min_id, total_count = 0, 0, 0
return max_id, min_id, total_count
def delete_data(table_name):
max_id, min_id, total_count = get_id_range(table_name)
temp_id = min_id
while temp_id <= max_id:
sql_script = """
DELETE FROM {0}
WHERE id <= {1}
and id >= {2}
AND create_time <=&#39;{3}&#39;;
""".format(table_name, temp_id + DELETE_ROWS, temp_id, DELETE_DATETIME)
temp_id += DELETE_ROWS
print(sql_script)
row_count = mysql_exec(sql_script)
print_info("影响行数：{0}".format(row_count))
current_percent = (temp_id - min_id) * 1.0 / (max_id - min_id)
print_info("当前进度{0}/{1},剩余{2},进度为{3}%".format(temp_id, max_id, max_id - temp_id, "%.2f" % current_percent))
time.sleep(SLEEP_SECOND_PER_BATCH)
print_info("当前表{0}已无需要删除的数据".format(table_name))
delete_data(&#39;TB001&#39;)
delete_data(&#39;TB002&#39;)
delete_data(&#39;TB003&#39;)

실행 효과:

구현 원칙:

테이블에는 자체 증가 ID가 있으므로 다음에서 점진적으로 삭제할 수 있는 기회가 제공됩니다. 루프를 실행하여 삭제 조건을 충족하는 최대 ID와 최소 ID를 찾은 다음 ID별로 점점 더 작은 범위(예: 10,000개 항목)를 삭제합니다.

구현 장점:

"작은 도끼가 큰 장작을 자른다"는 효과를 얻습니다. 거래가 적고 영향이 적습니다. 온라인은 규모가 작으므로 현재 처리된 "ID"를 언제든지 인쇄할 수 있습니다. 코드를 약간만 수정하면 이 ID에서 시작할 수 있어 편리합니다.

구현 단점 :

마스터-슬레이브 지연이 너무 커지는 것을 방지하기 위해 1초씩 SLEEP을 삭제하는 방법 시간은 상대적으로 힘들지만 가장 좋은 방법은 이 복제 링크를 주기적으로 스캔하고 지연에 따라 SLEEP 주기를 조정하는 것입니다. 어쨌든 모든 것이 스크립트로 작성되어 있으므로 더 지능적으로 만드는 것은 어떨까요?

위는 편집자가 소개한 MySQL 테이블 데이터의 Python 증분 루프 삭제입니다. 궁금한 점이 있으면 메시지를 남겨주시면 편집자가 도와드리겠습니다. 시간 내에 답장을 보내세요. 또한 PHP 중국어 웹사이트를 지원해 주신 모든 분들께 감사드립니다!

MySQL 테이블 데이터의 Python 증분 루프 삭제에 관한 더 많은 기사를 보려면 PHP 중국어 웹사이트를 주목하세요!