应使用sample_weight而非filter/repeat来处理不平衡数据：先统计类别频次并计算归一化类别权重，再映射到每个样本，通过tf.data.dataset.zip((x,y,w))构建带权数据集，在model.fit()中传入sample_weight；验证时关闭sample_weight，改用recall、precision、auc等指标评估。

用 tf.data.Dataset.from_tensor_slices 构建带权重的不平衡数据集

直接用 tf.data.Dataset.from_tensor_slices 加载原始样本后，必须显式加入样本级权重，否则模型默认所有样本贡献相等——这对类别严重倾斜（比如 99% 正样本 + 1% 负样本）的数据会彻底失效。

关键不是“能不能加载”，而是“加载后如何让少数类被真正看见”。推荐做法是：先统计每类频次，再为每个样本分配 class_weight 对应的权重值，最后传入 sample_weight 参数训练：

• 用 np.bincount(y_train) 快速算出各类数量，再套用 sklearn.utils.class_weight.compute_class_weight 得到归一化权重数组
• 把权重映射回每个样本：假设 y_train[i] == 2，就取 class_weights[2] 作为第 i 个样本的 sample_weight
• 构造 tf.data.Dataset 时，用 tf.data.Dataset.zip((features, labels, sample_weights))，并在 model.fit() 中设 sample_weight=sample_weights

避免在 tf.data.Dataset 中用 filter 或 repeat 均衡数据

有人试图用 dataset.filter(lambda x, y: y == 1) 单独抽少数类再拼接，或对少数类反复 repeat() —— 这会导致 batch 内类别比例失控、梯度更新不稳定，且破坏了真实分布下的评估意义。

更稳妥的做法是保持原始数据流不变，仅通过 sample_weight 调节损失函数中每个样本的贡献度。TensorFlow 的 tf.keras.losses.BinaryCrossentropy 和 CategoricalCrossentropy 都原生支持 sample_weight 参数，无需自定义 loss。

python-parallelization

将顺序 Python 代码转换为并行/并发实现，用于在需要并行化 Python 代码、提升性能时使用。

下载

• filter 后再 shuffle 容易打乱时序/空间局部性，尤其对时间序列或图像块数据有副作用
• repeat() 少数类会放大其梯度噪声，模型可能过早收敛到对多数类的偏置解
• 如果真要重采样，优先用 tf.data.Dataset.sample_from_datasets 按权重抽子集，而非暴力复制

验证时别用 class_weight，但要用 tf.keras.metrics 看真实指标

训练加了 sample_weight 是为了优化损失，但验证阶段必须关闭它——否则验证 loss 失去可比性，val_loss 不再反映模型在真实分布上的表现。

此时重点看非 accuracy 类指标：tf.keras.metrics.Recall、tf.keras.metrics.Precision、tf.keras.metrics.AUC（尤其是 curve='PR'），它们不依赖类别平衡假设。

• 在 model.compile() 中明确传入 metrics=[tf.keras.metrics.Recall(), tf.keras.metrics.Precision()]
• 避免只盯 val_accuracy：在 99:1 数据上达到 99% 准确率，可能只是永远预测正类
• 验证集本身也应保持原始分布，不要人为过采样或欠采样

当数据量极大时，用 tf.data.experimental.sample_from_datasets 替代内存级重加权

如果训练集达千万级、无法一次性计算全部 sample_weight 数组（比如内存爆掉），就不能靠 numpy 预生成权重向量再喂给 Dataset。

这时更适合用数据流层面的加权采样：把每类样本分别构造成独立 Dataset，再用 tf.data.experimental.sample_from_datasets 按指定概率混合。例如少数类 dataset 权重设为 0.5，多数类设为 0.5，实际效果接近 1:1 采样。

• 注意设置 stop_on_empty_dataset=False，否则某类读完就终止整个 pipeline
• 每个子 dataset 必须已调用 repeat()，否则权重采样会因某类耗尽而崩
• 该方法绕过了大数组内存压力，但会轻微改变每个 epoch 的总步数，需在 steps_per_epoch 中手动校准

样本权重不是锦囊妙计，它只调节损失计算；若特征本身无法区分少数类（比如所有负样本都缺失关键字段），再高的权重也学不出判别边界。上线前务必检查原始数据里少数类是否真的包含可学习信号。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！