strategy.run 不能直接用于评估，因为它仅广播函数到各设备并返回独立输出，不聚合指标；评估需用 strategy.reduce 或 strategy.gather 显式汇总 loss 和 metrics。
strategy.run 为什么不能直接用来做评估
因为 strategy.run 是为并行执行训练步骤设计的，它把一个函数广播到所有设备上运行，但不负责聚合结果。评估需要汇总各设备上的指标（比如准确率、loss），而 strategy.run 返回的是每个设备的独立输出，没做 reduce 或 gather —— 你拿到的是 N 份互不关联的 tf.Tensor，不是单个标量。
常见错误现象：ValueError: Can't convert Python sequence with length N to Tensor，或者指标值忽高忽低、明显不合理（其实是只取了某一块卡的结果）。
- 评估必须用
strategy.reduce或strategy.gather显式聚合 -
strategy.run只适合“每卡独立算、无需合结果”的场景，比如生成中间特征、写日志 - 如果你硬套
strategy.run包裹model.evaluate()，会报错或返回错误 shape 的张量
正确做法：用 strategy.experimental_distribute_dataset + tf.function + reduce
分布式评估的核心是把数据分片喂给各设备，模型前向传播后，用 strategy.reduce 合并 loss 和 metrics。这不是靠封装好的 model.evaluate()，而是手动拆解评估流程。
使用场景：多 GPU / TPU 上跑 validation loop，尤其当你需要自定义 metric 更新逻辑、或想复用训练时的 tf.function 编译逻辑。
- 先用
strategy.experimental_distribute_dataset包装验证集，让数据自动分片 - 写一个带
@tf.function的评估 step 函数，内部调用model(x, training=False)并更新 metric - 在循环中对每个 batch 调用
strategy.run(step_fn, args=(x, y)) - 最后用
strategy.reduce(tf.distribute.ReduceOp.SUM, ...)汇总指标
示例关键片段：
@tf.function
def eval_step(x, y):
logits = model(x, training=False)
loss = loss_fn(y, logits)
accuracy.update_state(y, logits)
return loss
<p>for x, y in dist_dataset:
per_replica_loss = strategy.run(eval_step, args=(x, y))
loss = strategy.reduce(tf.distribute.ReduceOp.MEAN, per_replica_loss, axis=None)</p>
strategy.reduce 的参数陷阱：ReduceOp.MEAN vs SUM
很多人以为评估 loss 就该用 ReduceOp.MEAN，结果发现数值比单卡小很多——这是因为 MEAN 对每个设备上的 batch loss 取平均，而不同卡的 batch size 可能不等（尤其数据集长度不能被设备数整除时）。
更稳妥的做法是先用 SUM 汇总 total_loss 和 total_samples，再手动除：
-
strategy.reduce(ReduceOp.SUM, per_replica_loss * local_batch_size)得到总 loss -
strategy.reduce(ReduceOp.SUM, tf.cast(local_batch_size, tf.float32))得到总样本数 - 最终 loss = total_loss / total_samples
- metric 如
accuracy本身支持result()，但它的内部 state 是跨设备同步的，所以直接调strategy.reduce(ReduceOp.MEAN, accuracy.result())仍可能不准；推荐统一用 SUM + count 方式
TPU 下 eval 的额外约束：必须用 tf.data.Dataset + prefetch
TPU 不支持 Python 迭代器或 numpy 输入，且对输入 pipeline 延迟极度敏感。如果你用 strategy.experimental_distribute_dataset 包裹一个没 prefetch 的 dataset，eval 会卡住或显存爆掉。
性能影响：没有 prefetch(tf.data.AUTOTUNE)，TPU 计算单元大量时间在等数据，吞吐暴跌 50%+。
- dataset 必须有
batch()、prefetch(tf.data.AUTOTUNE)、且最好cache()（如果内存够） - 避免在
map()里调用 Python 函数；用tf.py_function会打断图编译，拖慢 TPU - 验证集 batch size 应设为全局 batch size（即 per-replica × num_replicas），否则分片后某卡可能没数据，触发
OutOfRangeError
实际跑通的关键点就在这儿：评估不是训练的镜像操作，它对聚合方式、数据分发、设备同步更敏感。漏掉一次 reduce，或错用 MEAN，结果就不可信。
