--cgroup-driver必须与容器运行时一致,否则导致Pod启动失败、资源指标异常及CPU QoS失效;systemd系统下须设为systemd,containerd默认启用systemd_cgroup=true,修改后需重启containerd和kubelet并执行systemctl daemon-reload。

kubelet 配置文件参数不能盲目调优,多数问题出在 cgroup 驱动不匹配、资源预留冲突或 eviction 阈值设置不合理上。
为什么 --cgroup-driver 必须和容器运行时一致
常见错误是 systemd 系统上用 containerd 但 kubelet 仍设 --cgroup-driver=cgroupfs,导致 Pod 启动失败、CPU/Memory QoS 不生效、kubectl top node 显示 0 值。systemd 环境下必须设为 systemd;否则 cgroup 层级错乱,kubelet 无法正确读取资源使用率,也影响 CPU Manager 的 static 策略。
验证方式:cat /proc/1/cgroup 查看 init 进程挂载点,若含 /sys/fs/cgroup/systemd,则驱动必须为 systemd。
- containerd 默认使用
systemd驱动(/etc/containerd/config.toml中systemd_cgroup = true) - kubelet 启动参数或配置文件中需显式指定
cgroupDriver: systemd - 修改后必须重启 containerd 和 kubelet,且
systemctl daemon-reload不可省略
--kube-reserved 和 --system-reserved 怎么设才不打架
这两个参数本质是“从 Node 总资源里划出两块不可调度的资源”,但顺序和数值冲突会直接导致 kubelet 拒绝启动,报错:failed to run Kubelet: invalid configuration: system reserved memory and kube reserved memory sum is greater than total memory。
真实场景中,应按以下逻辑计算:
- 先确认节点总内存/CPU:用
free -g和nproc,不是df -h或lscpu输出的理论值 -
--system-reserved仅覆盖 OS 关键进程(sshd、journald、udev),一般设cpu=500m,memory=1Gi足够,除非运行大量监控 agent -
--kube-reserved专供 kubelet、runtime、node-problem-detector 等组件,cpu=500m,memory=512Mi是安全起点 - 二者之和必须 ≤ 总资源的 15%~20%,否则 kubelet 会因“预留超限”退出
--eviction-hard 阈值为什么总被误设成百分比
很多人照搬文档写 memory.available,但 kubelet 实际只支持绝对值(如 memory.available)或带单位的相对值(如 nodefs.available 仅对文件系统有效)。对 memory,% 语法无效,会被静默忽略,导致 OOM 杀死 Pod 前无任何驱逐动作。
正确做法:
- 查当前可用内存:
grep MemAvailable /proc/meminfo | awk '{print int($2/1024/1024) "Gi"}' - 设硬驱逐阈值为该值的 60%~70%,例如 64Gi 内存节点设
memory.available -
nodefs.available和imagefs.available可用百分比,但注意:若未显式配置--image-fs,imagefs 就是 nodefs,二者不能同时设不同阈值 - 配合
--eviction-minimum-reclaim避免反复驱逐:比如设memory.available=500Mi,确保每次至少回收 500Mi 内存
--cpu-manager-policy=static 开启前必须检查三件事
这个参数看似只是加个 flag,但启用后 kubelet 会严格校验 Pod 的 CPU request 是否为整数、是否满足 Guaranteed QoS、是否与节点 CPU topology 对齐。任意一项不满足,Pod 就卡在 ContainerCreating,日志里只有模糊的 failed to admit pod。
实操要点:
- Pod 必须设
resources.requests.cpu且等于limits.cpu,且值为整数(如2、4,不能是2000m或1.5) - 节点 CPU 必须支持 cpuset(
cat /proc/cpuinfo | grep cpuset有输出),且未被 BIOS 禁用 C-states - 检查
/var/lib/kubelet/cpu_manager_state文件是否存在并可写,权限错误会导致 policy 初始化失败
最易被忽略的是:static 模式下,kubelet 会把未标记 cpumanager=true 的 Pod 全部塞进 shared pool,而这个 pool 默认只分到 1 个 CPU 核——如果你有几十个普通 Pod,它们会争抢这 1 个核,表现就是整体响应变慢,却查不到明显瓶颈。











