tf.data.dataset是处理大文件的唯一可靠方案，它通过流式按需取批避免oom；应优先用textlinedataset或tfrecorddataset，配合skip、filter、prefetch等正确配置实现高效训练。
大文件无法全量加载到内存时，tf.data.Dataset 是唯一靠谱路径
TensorFlow 本身不提供“读大文件”的独立函数，强行用 np.loadtxt 或 pd.read_csv 加载几十 GB 的数据会直接 OOM。核心解法只有一个：绕过内存加载，让模型训练时按需取批（streaming）。这正是 tf.data.Dataset 的设计本意——它不构建完整数组，只维护一个可迭代的数据流水线。
常见错误现象：MemoryError、训练卡在 dataset.as_numpy_iterator()、GPU 利用率长期为 0（CPU 在死磕 IO）。
- 别把整个 CSV 转成
tf.Tensor再喂给Dataset.from_tensor_slices()—— 这等于又把数据全塞进内存 - 优先用
tf.data.TextLineDataset（逐行读文本）或tf.data.TFRecordDataset（二进制流式），而非pd.read_csv().values - 如果原始是 HDF5/Parquet，别用
h5py.File全读，改用tf.data.Dataset.list_files()+ 自定义map解析单个分块
TextLineDataset 读 CSV 时，跳过 header 和空行必须手动处理
很多人以为 TextLineDataset("data.csv") 直接能用，结果第一轮训练就报 InvalidArgumentError: Cannot parse tensor from proto —— 因为 header 行被当成了数据，或者空行导致字段数对不上。
使用场景：日志文件、无索引 CSV、每行结构固定但含注释或分隔符异常。
- 用
skip(1)跳 header：ds = tf.data.TextLineDataset("data.csv").skip(1) - 过滤空行和注释行：
ds = ds.filter(lambda line: tf.strings.length(line) > 0 and not tf.strings.regex_full_match(line, r"#.*")) - 解析时用
tf.io.decode_csv，注意record_defaults必须和列数严格一致，否则 runtime 报错
TFRecordDataset 预处理成本高，但训练吞吐量翻倍以上
从原始 CSV 实时解析每一行，CPU 压力大、解析慢、难以并行。换成 TFRecord 格式后，TFRecordDataset 可以原生支持并发读取、预取、解码流水线，实测 batch 吞吐提升 2–5 倍（尤其 SSD/NVMe 下）。
性能影响：首次生成 .tfrecord 文件耗时，但后续所有训练都受益；兼容性无损失，所有 TensorFlow 版本均原生支持。
- 写入时用
tf.train.Example+tf.io.TFRecordWriter，数值列转tf.train.FloatList，字符串列转tf.train.BytesList - 读取时用
tf.io.parse_single_example+tf.io.FixedLenFeature，类型必须和写入时完全一致，否则解码失败 - 别把整个
.tfrecord当一个样本——每个 record 应该是一条样本，不是一整个 batch
prefetch、cache、num_parallel_calls 的顺序和位置决定是否真加速
很多人加了 .prefetch(tf.data.AUTOTUNE) 却没效果，甚至更慢——因为放错了位置。IO 瓶颈不在 GPU 计算侧，而在 CPU 解析和磁盘读取环节。
容易踩的坑：cache() 放在解析之后才有效（否则缓存的是原始字符串行），prefetch 必须放在流水线末端（让下一 batch 提前准备），num_parallel_calls 对 map 操作才有意义。
- 正确顺序示例：
dataset.map(parse_fn, num_parallel_calls=tf.data.AUTOTUNE).cache().batch(32).prefetch(tf.data.AUTOTUNE) -
cache()在首次迭代后才生效，调试阶段可先关掉，避免内存误判 - 如果数据源是网络存储（如 GCS/S3），
prefetch效果有限，优先优化map函数本身（比如用tf.py_function替代慢 Python 逻辑）
最复杂的点往往不在“怎么写”，而在“哪一步真正卡住”——建议用 tf.data.experimental.cardinality 确认 dataset 是否无限，用 dataset.take(1).as_numpy_iterator().next() 快速验输出 shape 和 dtype，比看文档快得多。
