必须对etcd执行可验证的快照备份并原子性恢复：先校验etcdctl版本与api匹配，再用正确证书和utc时间戳备份，立即验证快照完整性，同步至远程存储并保留对应证书；灾难恢复时需停kubelet、隔离原数据、用同证书同快照还原，最后重启验证健康。
保障Kubernetes集群在控制平面崩溃、误删关键资源或etcd静默损坏时能快速回退到一致状态，必须对etcd执行可验证的快照备份，并在必要时完成原子性灾难恢复。
手动执行etcd快照备份
这一步操作起来很简单，直接在任一控制平面节点上运行命令即可，但必须确保证书路径和API版本完全匹配，否则备份文件将无法用于恢复。
第一步：确认etcdctl已安装且版本与集群一致。查看etcd镜像版本：grep image /etc/kubernetes/manifests/etcd.yaml，再下载对应版本的etcdctl二进制文件并放入/usr/local/bin/；若已安装，执行etcdctl version验证输出中API version与集群etcd主版本一致（如3.5.x → API version: 3.5）。
第二步：设置环境变量并执行快照保存。命令中--endpoints=https://127.0.0.1:2379不可替换为localhost，否则TLS握手失败；时间戳必须加-u参数强制UTC，避免跨时区还原时序错乱：sudo ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key snapshot save /backup/etcd-$(date -u +%Y%m%d-%H%M%S).db
第三步：立即校验快照完整性。跳过此步等于备份无效——etcdctl snapshot status /backup/etcd-*.db必须返回非空的hash、revision和totalKey值，任意一项为<nil></nil>或报错即说明快照损坏。
将快照同步至远程存储
本地磁盘上的.db文件不是备份，只是临时中转站；真正的备份必须脱离etcd节点物理宿主，否则节点宕机即全量丢失。
方法一：推送到S3兼容对象存储（推荐）
安装awscli或s3cmd，配置好凭据后执行：aws s3 cp /backup/etcd-*.db s3://my-k8s-backup/etcd/$(hostname)/。注意：路径中包含$(hostname)可区分多master节点快照，避免覆盖。
方法二：同步到NFS挂载点
确保NFS服务可用且挂载点具有写权限：mount | grep nfs确认/mnt/nfs-backup已就绪，然后：cp /backup/etcd-*.db /mnt/nfs-backup/。这一步完成后，务必运行sync命令强制刷盘，防止缓存未落盘导致假成功。
【快照文件必须附带对应时间点的三证书：ca.crt、server.crt、server.key】——还原时若证书不匹配当前集群TLS配置，etcd将拒绝启动，且无明确错误提示，极易卡在health check环节。
灾难场景下的etcd集群恢复
仅当所有控制平面节点不可用、apiserver持续503、kubectl get node超时且确认无网络隔离时，才触发此流程。恢复操作不可逆，且必须在全部master节点上顺序执行。
步骤一：停止kubelet并隔离原etcd数据
在首个待恢复master节点执行：systemctl stop kubelet → mv /etc/kubernetes/manifests /etc/kubernetes/manifests.bak → mv /var/lib/etcd /var/lib/etcd.bak。这三步缺一不可：mv /etc/kubernetes/manifests让kubelet停止拉起静态Pod；mv /var/lib/etcd是保护性动作，防止snapshot restore误覆盖有效数据。
步骤二：执行快照还原
使用与备份时**完全相同的证书路径**和**同一份快照文件**：sudo ETCDCTL_API=3 etcdctl --name=etcd-0 --initial-cluster=etcd-0=https://127.0.0.1:2380 --initial-advertise-peer-urls=https://127.0.0.1:2380 --data-dir=/var/lib/etcd --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key snapshot restore /backup/etcd-20260928-020000.db
注意：--name和--initial-cluster必须与该节点原始etcd.yaml中定义的一致，否则Raft集群无法识别成员身份。
步骤三：重启kubelet并等待etcd Pod就绪mv /etc/kubernetes/manifests.bak /etc/kubernetes/manifests → systemctl start kubelet。观察docker ps | grep etcd或crictl ps | grep etcd确认容器启动，再等待约90秒，执行ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 --cacert=... --cert=... --key=... endpoint health返回healthy。
