tensorflow 没有 3.11 版本，最新稳定版为 2.16.1，支持 python 3.11；分布式训练必须使用 tf.distribute.strategy，禁用旧式 clusterspec；tf_config 必须严格配置且提前注入；模型需用 keras fit api 配合 tf.data.dataset。
TensorFlow 3.11 不存在，别被版本号误导
Python 3.11 是 Python 解释器版本，TensorFlow 没有 “3.11” 版本。当前（2024 年中）最新稳定版是 tensorflow==2.16.1，它支持 Python 3.9–3.12，包括 Python 3.11。如果你在 pip 安装时看到类似 ERROR: Could not find a version that satisfies the requirement tensorflow==3.11，说明你误把 Python 版本当成了 TensorFlow 版本。
分布式训练必须用 tf.distribute.Strategy，不是手动起进程
TensorFlow 官方早已弃用旧的 tf.train.ClusterSpec + tf.train.Server 手动组集群方式（即所谓“parameter server 架构”），现在统一通过 tf.distribute.Strategy 抽象层实现。它自动处理变量分发、梯度聚合、通信后端（gRPC / NCCL / CollectiveOps）选择，不需你写 chief/worker 地址配置文件。
-
tf.distribute.MultiWorkerMirroredStrategy：用于多机器多 GPU 训练，需所有 worker 运行相同代码，通过环境变量TF_CONFIG声明角色和网络拓扑 -
tf.distribute.MirroredStrategy：单机多卡，无需TF_CONFIG，也不涉及网络通信 - 不要用
tf.estimator.train_and_evaluate配合旧式 ClusterSpec——它在 TF 2.x 中已不推荐，且与 Keras 模型兼容性差
TF_CONFIG 环境变量格式必须严格，否则 silent fail
TF_CONFIG 是 JSON 字符串，必须通过 shell 环境变量注入，不能在 Python 里用 os.environ 动态设置后再初始化 strategy——strategy 初始化时会立即读取，晚了就无效。
例如，两台机器（IP 分别为 192.168.1.10 和 192.168.1.11），每台 2 卡：
export TF_CONFIG='{
"cluster": {
"worker": ["192.168.1.10:12345", "192.168.1.11:12345"]
},
"task": {"type": "worker", "index": 0}
}'
-
task.index必须从 0 开始连续编号，且不能超出cluster.worker列表长度 - 端口要开放（防火墙/云安全组），建议用大于 1024 的固定端口，避免被占用
- 所有 worker 必须使用相同
cluster定义，仅task.index不同；chief角色已由task.index == 0的 worker 自动承担 - 如果漏设
TF_CONFIG或 JSON 格式错误（比如多逗号、单引号），程序可能不报错但退化为单机模式，训练速度无提升
模型必须用 tf.keras.Model + compile + fit，不能用自定义训练循环混用策略
tf.distribute.Strategy.scope() 只保证变量创建被正确分发，但训练逻辑本身仍需适配。最简可靠路径是：
- 在
strategy.scope()内构建并编译模型：model.compile(optimizer=..., loss=...) - 数据集必须用
tf.data.Dataset，且调用.batch().prefetch()；避免用 NumPy 数组直接喂入fit，否则会触发 host-to-device 复制瓶颈 - 调用
model.fit(dataset, ...)即可，strategy 自动把 batch 分片到各 device，无需修改训练逻辑 - 若坚持用
strategy.run()写自定义 step，必须显式处理梯度同步（strategy.reduce）、检查点保存（tf.train.Checkpoint要绑定 strategy）、metric 同步（tf.keras.metrics.Metric需在 scope 内创建）——极易出错，新手回避
跨 worker 的 checkpoint 保存依赖 tf.train.CheckpointManager，路径需所有节点可见（如 NFS 或 GCS），本地路径会导致只有一台机器存成功。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
