应使用NodeAffinity、Taint/Toleration和TopologySpreadConstraints组合方案:先为节点打硬件与机架双标签,再用NodeAffinity硬约束机型与机架,通过Taint拦截非授权Pod,并用TopologySpreadConstraints实现跨机架均衡分布。

在Kubernetes集群中,当需要将Pod严格调度到特定机型(如A100-80G节点)或指定机架(如rack-03-A区)时,仅靠nodeSelector无法阻止其他负载抢占资源,也无法表达“机型层级”和“物理拓扑边界”双重约束。
第一步:给节点打精准硬件与拓扑标签
先确认目标节点名称:kubectl get nodes,再为每个节点添加两级标签:硬件型号 + 机架位置。例如对节点gpu-node-07执行:
kubectl label node gpu-node-07 hardware.gpu.model=A100-80G hardware.rack=rack-03-A --overwrite
这一步必须覆盖所有GPU节点,且--overwrite防止因重复打标失败导致漏标。漏标节点将无法被后续规则匹配,Pod会Pending。
第二步:用NodeAffinity替代nodeSelector实现硬约束
在Deployment或Pod的spec中,用requiredDuringSchedulingIgnoredDuringExecution定义不可妥协的机型+机架组合:
```yaml
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: hardware.gpu.model
operator: In
values: [A100-80G]
- key: hardware.rack
operator: In
values: [rack-03-A]
```
注意:【NodeAffinity是nodeSelector的替代方案,后者已被标记为deprecated】。它支持逻辑与(AND),而nodeSelector只能做单层键值匹配,无法同时满足两个独立label条件。
第三步:对关键机型节点加Taint,反向拦截非授权Pod
方法一:为A100-80G节点统一打Taint
kubectl taint node gpu-node-07 hardware.gpu.model=A100-80G:NoSchedule
方法二:只允许显式声明toleration的业务上该机型
在对应Deployment中加入:
```yaml
tolerations:
- key: "hardware.gpu.model"
operator: "Equal"
value: "A100-80G"
effect: "NoSchedule"
```
这一步能彻底阻断未声明容忍的CPU类任务(如预处理Job)误入GPU节点——这是仅靠label永远做不到的防御。
第四步:用Topology Spread Constraints强制跨机架分布
第一步:确保所有节点已带hardware.rack标签(已完成);
第二步:在Deployment中添加分布策略:
```yaml
topologySpreadConstraints:
- maxSkew: 1
topologyKey: hardware.rack
whenUnsatisfiable: DoNotSchedule
labelSelector:
matchLabels:
app: gateway
```
该配置表示:同一labelSelector下的Pod副本,在各hardware.rack取值范围内最多相差1个。若只有rack-03-A和rack-03-B两个机架,14个副本将被严格分配为7+7;若某机架节点资源不足,多余Pod将保持Pending而非挤占单一机架。
注意:【topologyKey必须与节点实际标签完全一致,大小写、连字符均不能错】。填错会导致整个约束失效,调度器静默忽略该字段。










