如何在Python中通过TensorFlow加载并预处理CSV数据-Python教程-PHP中文网

推荐用 tf.data.experimental.make_csv_dataset 直接加载 CSV：自动跳过 header、支持并行读取，但需显式指定 column_defaults 防类型推断错误；label_name 可分离标签；缺失值和复杂字段需 map 或 Pandas 预处理；shuffle 必须在 batch 前以保障分布均匀。

如何在python中通过tensorflow加载并预处理csv数据

用 `tf.data.experimental.make_csv_dataset` 直接加载 CSV 到 `tf.data.Dataset`

这是最轻量、最推荐的起点——不依赖 Pandas，不手动读文件，TensorFlow 原生支持流式解析。它自动跳过 header（默认开启）、推断类型（但常不准）、支持分片和并行读取。

常见错误是字段类型推断失败导致后续模型报错：InvalidArgumentError: input must be a vector，本质是某列被误判为字符串但模型期望 float32。

显式传入 column_defaults：比如 [tf.float32, tf.int32, tf.string]，顺序必须严格匹配 CSV 列序
若首行是 header，设 header=True；否则设 header=False 并用 column_names 手动指定
避免把 label 列混在特征里：用 label_name="target" 参数直接分离，返回 (features_dict, label) 二元组
大文件时加 num_parallel_reads=4 和 prefetch_buffer_size=tf.data.AUTOTUNE 防 I/O 瓶颈

处理缺失值和类型转换不能靠 `make_csv_dataset` 自动完成

make_csv_dataset 遇到空单元格会填入默认值（如 0 或空字符串），但多数场景需要更精细控制：比如用均值填充数值列、用众数填类别列，或把字符串标签转成整数 ID。

此时必须链式调用 map()，且注意：map 内部不能用 NumPy 或 Pandas 操作，所有转换需用 tf.* 函数。

数值列缺失：用 tf.where(tf.math.is_nan(x), tf.reduce_mean(x), x) ——但注意 reduce_mean 要求张量非空，建议先用 tf.boolean_mask 过滤掉 NaN 再算均值
字符串标签编码：用 tf.lookup.StaticVocabularyTable 构建查表，配合 tf.py_function 做首次统计（仅限初始化阶段）
别在 map 里写 print() 或 logging.info()：会被静默丢弃；调试用 tf.print()

当 CSV 包含时间戳、嵌套 JSON 字符串等复杂字段时，`make_csv_dataset` 失效

CSV 本质是扁平文本，遇到 "{""user"":{""id"":123}}" 这种字段，make_csv_dataset 只能当普通字符串读进来，无法自动解析结构。强行用 tf.strings.split 或正则硬拆，代码脆弱且无类型保障。

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

这时该切回 Pandas 预处理，再转成 tf.data.Dataset，而非硬扛。

用 pandas.read_csv(..., converters={"json_col": json.loads}) 提前解析复杂列
对解析后的 DataFrame，用 tf.data.Dataset.from_tensor_slices(dict(df)) 转换——注意：字符串列会自动变成 tf.string，数值列保持 tf.float64，可能需 tf.cast 显式转 tf.float32
如果内存吃紧，改用 chunksize 分块读取 + tf.data.Dataset.list_files + interleave 模拟流式

训练时 shuffle 和 batch 的顺序影响数据分布一致性

很多人把 shuffle(buffer_size) 放在 batch() 后面，结果每个 batch 内部是乱序的，但 batch 之间仍有原始文件顺序痕迹（尤其当 CSV 按 label 排序时），导致前几个 epoch 模型只看到某类样本。

正确顺序是：解析 → shuffle → map（预处理）→ batch → prefetch。

buffer_size 不必等于总行数，设为 10000～100000 即可平衡随机性与内存占用
若 CSV 已按 label 分块存储（如先 1000 行 class A，再 1000 行 class B），单靠 shuffle 不够，得先用 interleave 并行读多个文件，或预处理时打散行序
验证/测试集通常禁用 shuffle，但注意 make_csv_dataset 默认不 shuffle，无需额外关

真正麻烦的是混合数据源（如 CSV 特征 + TFRecord 图像）或在线增强，那就要自定义 tf.data.Dataset 构造逻辑，而不是依赖 CSV 封装函数。