应使用 tf.data.experimental.make_csv_dataset 流式读取超大CSV，避免pandas全量加载OOM；需正确设置column_names/column_defaults、num_parallel_reads，采用文件级+行级双shuffle，并谨慎使用prefetch与cache。
用 tf.data.experimental.make_csv_dataset 直接流式读取，别用 pandas.read_csv 全量加载
面对上千万行、几十GB的CSV，用 pandas.read_csv 会直接 OOM。TensorFlow 的 make_csv_dataset 是专为这种场景设计的：它不把整个文件读进内存，而是按 batch 流式解析，边读边转成 tf.data.Dataset，天然适配训练循环。
常见错误是先用 pandas 加载再转 Dataset——这一步就崩了。正确做法是从文件路径直连：
-
file_pattern支持通配符，比如"data/part_*.csv"，可并行读多个分片 - 必须显式传
column_names或设header=True，否则字段顺序错乱会导致模型输入错位 - 数值列默认当字符串处理，要用
select_columns+column_defaults显式声明类型，例如[tf.float32, tf.int32, tf.string] - 别漏掉
num_parallel_reads（建议设为tf.data.AUTOTUNE），否则单线程读 CSV 成瓶颈
处理缺失值和类型不一致时，column_defaults 必须匹配实际数据分布
CSV 里常有空字段、混合类型（如某列多数是数字但混着几个 "N/A"），make_csv_dataset 遇到无法解析的值会直接报错：Failed to convert value 'N/A' to type float。这不是 bug，是设计使然——它不做隐式清洗。
解决方法不是预处理整个文件，而是在加载时柔性兜底：
-
column_defaults中对应列填0.0（float）、-1（int）或""（string），作为缺失值占位符 - 如果某列真实存在多种类型（如数字和字符串混用），只能先统一当
string读入，后续用map+tf.strings.to_number尝试转换，并用tf.where处理失败情况 - 避免在
map函数里调用 numpy 或 pandas 操作，会触发 eager 执行拖慢 pipeline；所有转换尽量用原生 TensorFlow ops
训练时 shuffle 效果差？别在文件末尾加 shuffle(buffer_size)
对超大 CSV，dataset.shuffle(10000) 看似合理，但 buffer 只能覆盖开头一小段数据，后 99% 样本几乎没参与 shuffle——等效于没打乱。根本原因是 CSV 是顺序存储，无法随机跳转。
真正有效的做法是两层 shuffle：
- 外层：用
tf.data.Dataset.list_files打乱文件列表顺序，再传给make_csv_dataset，确保不同分片交替进入 pipeline - 内层：每个文件内部用足够大的
buffer_size（至少是单文件样本数的 3 倍），配合reshuffle_each_iteration=True - 如果单文件太大导致内存压力，就提前用 shell 或
awk把原始 CSV 随机重排分片：shuf -n 1000000 big.csv | split -l 50000
prefetch 和 cache 的使用边界很窄，别盲目加
cache() 对单次遍历的大规模 CSV 毫无意义，反而吃光内存；只有 epoch 数 ≥ 3 且数据不变时才考虑缓存到内存或磁盘（用 cache("path/to/cache")）。更常见的情况是误用 prefetch(tf.data.AUTOTUNE) 导致显存暴涨——因为 prefetch 默认缓存下一个 batch 的全部张量，而 CSV 解析后的特征可能含长文本或稀疏 ID，体积远超预期。
稳妥策略是：
- 训练初期先关掉
prefetch，用dataset = dataset.batch(32).take(10); list(dataset)测单 batch 内存占用 - 确认稳定后，只 prefetch 1 个 batch：
prefetch(1)，而非AUTOTUNE - 若用
map做复杂特征工程（如分词、哈希），把num_parallel_calls设为tf.data.AUTOTUNE，比盲目 prefetch 更有效
大规模 CSV 加载的关键不是堆参数，而是理解数据流动路径：磁盘 → 行解析 → 类型转换 → batch 组装 → GPU 传输。每一步的阻塞点都不同，profile 不出来就别调优。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
