statefulset升级mysql不能用kubectl set image,因镜像字段属不可变字段,直接更新会报forbidden错误;必须通过kubectl replace替换yaml,配合prestop钩子、pvc复用及版本兼容校验实现滚动替换。

StatefulSet升级MySQL为什么不能用kubectl set image
直接执行 kubectl set image statefulset/mysql mysql=mysql:8.0.33 会失败,报错 Forbidden: updates to statefulset spec for fields other than 'replicas', 'ordinals', 'revisionHistoryLimit', 'minReadySeconds', 'template' are forbidden。这不是权限问题,而是 Kubernetes 对 StatefulSet 的硬性限制:镜像字段属于不可变字段(immutable field),哪怕只改一个容器的 image,Kubernetes 也拒绝就地更新 Pod 模板中的该字段。
强行绕过(比如 patch + force)会导致 Pod UID 不变但底层容器 runtime 状态错乱,MySQL 进程可能卡在 mysqld_safe 启动阶段,或因 /var/lib/mysql 文件锁未释放而崩溃。
- StatefulSet 的设计目标是“稳定优先”,不是“便捷优先”
- MySQL 8.0 启动时会自动触发
mysql_upgrade,必须由新进程完整控制生命周期,不能混用旧进程残留状态 - Operator(如 RadonDB、Presslabs)会校验 Pod UID 和 PVC 绑定关系,异常重建会被标记为“unmanaged”并拒绝接管
正确做法:用kubectl replace + preStop + PVC复用
核心动作是“替换资源定义”,而非“更新字段”。你得修改 YAML 中的 image 字段,然后用 kubectl replace -f mysql-sts.yaml 强制重建整个 StatefulSet 对象——这会触发滚动删除旧 Pod、按序创建新 Pod,且新 Pod 复用原有 PVC。
关键配套动作缺一不可:
- 在容器
lifecycle.preStop中加入优雅关闭命令:["/bin/sh","-c","mysqladmin -uroot -p\"$MYSQL_ROOT_PASSWORD\" shutdown"],确保 InnoDB 正常刷盘、binlog 写满、复制线程终止 - 设置
podManagementPolicy: OrderedReady,避免并行启停导致主从同步位点跳跃 - 配置
revisionHistoryLimit: 2,保留前两个 ReplicaSet,万一新版本启动失败,可快速kubectl rollout undo statefulset/mysql --to-revision=1 - 升级前必须确认 MySQL 版本路径合规:5.7.34+ → 8.0.33 是官方支持路径;跳过 5.7.34 直接升 8.0.33 极大概率触发数据字典升级失败
升级后必须验证的三个硬指标
镜像拉起来了、Pod Running 了、端口通了,不等于 MySQL 升级成功。以下三项必须人工或脚本逐项核验:
- 进 Pod 执行
mysql --version,确认二进制版本号(如mysql Ver 8.0.33) - 连上数据库执行
SELECT VERSION();,确认运行时版本与二进制一致(防止mysqld实际加载的是旧 shared library) - 检查
SHOW GLOBAL VARIABLES LIKE 'gtid_mode';和SHOW SLAVE STATUS\G(若为主从架构),确认 GTID 已启用且复制 IO/SQL 线程正常,Seconds_Behind_Master趋近于 0
特别注意:MySQL 8.0 默认启用 require_row_format,如果业务还在用 statement-based binlog event,升级后写入会直接报错。这个兼容性开关必须在 ConfigMap 的 my.cnf 中显式关闭或调整应用层逻辑。
备份和回滚不是可选项,是前置条件
升级前不做逻辑备份,等于没升级。不要依赖 PVC 快照——它只保证文件系统一致性,不保证 MySQL 数据库引擎层面的一致性。
必须执行:
mysqldump --all-databases --single-transaction --routines --triggers --events -uroot -p"$MYSQL_ROOT_PASSWORD" > backup-$(date +%Y%m%d).sql- 把 dump 文件拷出集群,用
mysql -u root -p 在临时环境验证可恢复性 - 记录当前 PVC 名称(如
data-mysql-0)和绑定 PV 的spec.storageClassName,回滚时需确保 StorageClass 仍可用
最易被忽略的一点:升级后首次连接 MySQL 时,客户端协议默认启用 caching_sha2_password 插件,老版本 JDBC 驱动(如 MySQL Connector/J 5.1.x)会报 Public Key Retrieval is not allowed。这不是数据库问题,是连接层兼容性断点,必须同步更新应用侧驱动或在用户创建语句中指定 IDENTIFIED WITH mysql_native_password。











