如何在my.cnf中配置MySQL 8.0以支持大规模并发插入?

梦强小哥_4432

梦强小哥_4432

2026-08-10

654人浏览

原创

innodb_flush_log_at_trx_commit=2是高并发写入的关键优化项,设为2时事务仅写入os缓存、每秒fsync一次,吞吐提升3–5倍,但主机断电可能丢失最多1秒数据。

如何在my.cnf中配置mysql 8.0以支持大规模并发插入?

innodb_flush_log_at_trx_commit=2 是并发插入提速的关键开关

MySQL 8.0 默认值 innodb_flush_log_at_trx_commit = 1 每次事务都强制刷盘,安全但严重拖慢写入吞吐。对非金融类业务,设为 2 可让日志先写入 OS 缓存,性能提升常达 3–5 倍。

必须注意:2 意味着主机断电或内核崩溃时,最多丢失 1 秒事务;0 虽更快但风险更高,不建议生产环境使用。

  • 确认当前值:mysql -e "SHOW VARIABLES LIKE 'innodb_flush_log_at_trx_commit';"
  • 修改位置:仅在 [mysqld] 段生效,写错段(如 [client])完全无效
  • 搭配 sync_binlog = 2000 可进一步降低 binlog 刷盘频率,但需确保业务能容忍主从延迟增大

thread_cache_size 必须按 Threads_created 实际增速来调

高并发插入会频繁建立新连接,若 thread_cache_size 过小,线程反复创建销毁会吃光 CPU。这不是“设个固定值就行”的参数,得看实时指标。

典型错误是直接套用公式或盲目设成 256——内存涨了,Threads_cached 却长期卡在 10 以下,说明根本没被复用。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 查速率:SHOW GLOBAL STATUS LIKE 'Threads_created';,间隔 60 秒再查一次,差值 ÷ 60 得每秒新建线程数
  • 每秒新建 > 10 → 起始设 thread_cache_size = 32;> 20 → 试 64 或 128
  • 观察 1 小时后 Threads_cached 是否稳定在设定值的 60%–90%,否则继续调

skip-log-bin 能省掉一半写入开销,但只适用于无主从/无备份场景

MySQL 8.0 默认开启 log-bin,所有写操作额外写一次 binlog。对纯写入密集型服务(如日志归集、埋点入库),这个开销不可忽视。

一旦启用 skip-log-bin,不仅减少磁盘 IO,还能绕过 binlog 与 redo log 的两阶段提交协调逻辑,实测插入延迟下降 40%+。

  • 仅限单机、无灾备需求的场景;只要用到主从复制、GTID、PXC 或任何基于 binlog 的工具(如 Canal、DMS),就不能关
  • 配置项必须写在 [mysqld] 下,且重启后才生效;动态执行 SET GLOBAL sql_log_bin = OFF 只对当前会话有效,不解决全局压力
  • 验证是否关闭:mysql -e "SHOW VARIABLES LIKE 'log_bin';" 返回 OFF 才算成功

innodb_buffer_pool_size 和 innodb_log_file_size 要同步调大

单纯调高 innodb_buffer_pool_size 不足以支撑大规模并发插入——如果重做日志太小,InnoDB 会频繁 checkpoint,反过来逼迫 buffer pool 刷脏页,形成恶性循环。

二者必须协同:buffer pool 大了,log file 也得跟上,否则写入吞吐卡在日志刷盘瓶颈上。

  • innodb_buffer_pool_size:16GB 内存服务器建议设 10G,留足 4–5GB 给 OS 和连接线程
  • innodb_log_file_size:对应设 1G~2G(不是总和,是单个文件大小),设完必须删除旧日志文件并重启,否则 MySQL 拒绝启动
  • 验证日志是否生效:ls -lh /var/lib/mysql/ib_logfile*,文件大小应与配置一致
实际压测中,这四点配齐后,5 字段单行插入从 80ms 降到 12ms 是常见结果。最易被忽略的是 innodb_log_file_size 修改后不删旧文件就重启——MySQL 报错退出,但错误日志里那句 InnoDB: Error: log file ./ib_logfile0 is of diffe... 很容易被扫一眼跳过。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql mysql 8.0 mysql优化

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

4343

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

911

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1129

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

6261

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3083

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

6240

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

8461

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1150

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1012

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 188人学习