如何解决MySQL备份文件过大导致单文件系统限制无法存储的问题?

胖墨小哥_5696

胖墨小哥_5696

2026-06-25

227人浏览

原创

应分表导出并压缩:用mysqldump按表单独导出+ pigz压缩,或改用xtrabackup --stream=xbstream | pigz生成无大小限制的xbstream.gz文件。

如何解决mysql备份文件过大导致单文件系统限制无法存储的问题?

备份文件超过4GB时无法写入NTFS/FAT32分区

Windows下默认FAT32分区单文件上限为4GB,而mysqldump导出的SQL文本、尤其是含BLOB或长文本的库,极易突破该限制。这不是MySQL问题,而是文件系统硬限制——哪怕磁盘剩余空间充足,write()系统调用也会直接返回EFBIG错误。

解决思路不是“绕过限制”,而是从源头避免生成超大单文件:

  • 用mysqldump --skip-extended-insert反而会让文件更大(每行INSERT都带完整语句),必须保留--extended-insert(默认开启)以压缩SQL体积
  • 强制分表导出:mysql -e "SHOW TABLES FROM your_db" | tail -n +2 | xargs -I{} mysqldump -u user -p your_db {} | pigz > {}.sql.gz,每个表独立压缩,天然规避单文件超限
  • 若必须合并成一个逻辑备份,改用xbstream流式打包:xtrabackup --backup --stream=xbstream . | pigz > full.xbstream.gz,xbstream格式无单文件大小限制,且支持后续解包还原

mysqldump导出时触发“Out of memory”或卡死

当单表行数超千万、字段含TEXT/BLOB时,mysqldump默认把整张表加载进内存再拼SQL,极易OOM或长时间无响应。这不是配置max_allowed_packet能解决的——那是针对网络传输的,dump进程本身不受其约束。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载

关键控制点在查询粒度和缓冲行为:

  • 对大表必须加--single-transaction(InnoDB)或--lock-tables=false(MyISAM),否则全表锁会阻塞业务
  • 禁用--opt(它隐含--add-drop-table等,增加内存开销),显式指定精简参数:mysqldump -u u -p --no-autocommit --skip-triggers --compact your_db table_name
  • 用--where分批导出:例如按时间切片--where="created_at >= '2025-01-01' AND created_at ,配合脚本循环生成季度备份

gzip压缩后仍超存储配额,但又不能删数据

单纯换gzip为pigz只能提升3–5倍速度,压缩率改善有限。真正减体积要动数据结构本身:

  • 导出前执行OPTIMIZE TABLE对已删除行做空间回收(注意:该操作会锁表,建议在低峰期+从库执行)
  • 用--ignore-table=db.audit_log跳过纯日志表;用--no-create-info省掉CREATE语句(若已有建表脚本)
  • 对JSON/TEXT字段,若业务允许,导出前临时脱敏或截断:UPDATE sensitive_table SET payload = LEFT(payload, 1000) WHERE LENGTH(payload) > 1000

备份后校验失败或恢复报错“Unknown command”

常见于用mysqldump导出时混用了不兼容的MySQL版本特性(如8.0的JSON_TABLE函数),或压缩过程中损坏。重点检查两处:

  • 导出时加--set-gtid-purged=OFF(若不用GTID)或--set-gtid-purged=AUTO(若用),避免GTID语句污染SQL文件
  • 校验必须用pigz -t backup.sql.gz而非gzip -t,因pigz生成的gzip流可能被旧版gzip拒绝
  • 恢复前先抽样检查头尾:zcat backup.sql.gz | head -20看是否有CREATE DATABASE,zcat backup.sql.gz | tail -10看是否以UNLOCK TABLES或COMMIT结尾
真正卡住的点往往不在工具命令本身,而在你是否清楚:当前备份目标是“可恢复性优先”还是“传输效率优先”。前者必须用xtrabackup物理备份+binlog,后者才考虑mysqldump分块压缩。选错路径,后面所有优化都是在给错误方案打补丁。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql备份 mysql

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2213

6

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.21

1359

5

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

795

5

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.19

3052

5

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.25

5148

4

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.08

1159

3

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

5411

4

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

2023.08.14

4742

7

mysql事务隔离级别
mysql事务隔离级别

mysql规范中定义了四种事务隔离级别,不同的隔离级别对事务的处理有所不同。本专题为大家提供mysql事务隔离级别相关的文章内容,大家可以免费体验。

2023.08.16

6274

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 187人学习