如何在Python中利用TensorFlow 2.x加载非结构化文本-Python教程-PHP中文网

tf.data.textlinedataset 是加载纯文本文件最直接的选择，专为逐行读取设计，输出每行为 tf.string 张量，支持分片、并行读取与 prefetch；而 text_dataset_from_directory 适用于带标签的文本目录，自动推断类别并以文件为单位构建样本。

如何在python中利用tensorflow 2.x加载非结构化文本

加载纯文本文件时 `tf.data.TextLineDataset` 是最直接的选择

如果你只是想把 .txt 文件逐行读入 TensorFlow 数据流，tf.data.TextLineDataset 就是专为这事设计的。它不解析内容，不切分词，也不做编码，只负责把每行当做一个 tf.string 张量吐出来——这对后续自定义预处理非常友好。

常见错误是误用 tf.io.read_file 一次性读整个文件，结果得到单个长字符串，后续 batch 或 shuffle 都难操作；而 TextLineDataset 天然支持分片、并行读取、自动 prefetch。

路径必须是本地文件系统路径或 GCS/TFRecord 兼容 URI，不能是 Python 字符串变量或 io.StringIO 对象
默认按换行符切分，Windows 的 \r\n 和 Unix 的 \n 都能识别
空行也会生成一个空字符串张量，如需过滤，接 .filter(lambda x: tf.strings.length(x) > 0)
若文本含 UTF-8 BOM，首行开头可能出现 \ufeff，建议在 map 阶段用 tf.strings.strip 清理

用 `tf.keras.utils.text_dataset_from_directory` 加载带标签的文本目录结构

当你有一堆分类好的文本文件（比如 data/negative/*.txt, data/positive/*.txt），这个函数能自动推断标签、打乱顺序、划分训练/验证集，比手写 os.listdir + tf.data.Dataset.from_tensor_slices 稳定得多。

它内部仍用 TextLineDataset 读每份文件，但会把整份文件合并成一个字符串样本（即每个文件 = 一个样本），适合短文本分类场景。

要求子目录名即类别名，且每个子目录下只能放文本文件（.txt 默认，可通过 labels 和 class_names 参数调整）
batch_size 是必需参数，不传会报 TypeError: text_dataset_from_directory() missing 1 required positional argument: 'batch_size'
默认 label_mode="int"，若要 one-hot 标签，设 label_mode="categorical"，此时输出标签形状为 (batch_size, num_classes)
注意 shuffle=True 仅打乱文件顺序，不打乱文件内行序；如需行级 shuffle，得先 flat_map 到行再 shuffle

预处理阶段必须显式调用 `tf.strings.unicode_split` 或 `tf.keras.preprocessing.text.Tokenizer`

TensorFlow 2.x 不再内置“自动分词”逻辑，TextLineDataset 输出仍是原始字符串，不做任何 Unicode 归一化或子词切分。你得自己决定：按字切？按词切？用 SentencePiece？还是直接喂给 tf.keras.layers.TextVectorization？

python-parallelization

将顺序 Python 代码转换为并行/并发实现，用于在需要并行化 Python 代码、提升性能时使用。

下载

如果选原生 TF 操作：tf.strings.unicode_split(x, "UTF-8") 可将字符串拆成 Unicode 码点列表（适合中文、日文等），但无法处理英文词干或停用词；如果倾向 Keras 风格：Tokenizer 更灵活，但它是 Python 层对象，需先 fit_on_texts 再转换，无法嵌入 tf.data pipeline 的 graph 模式。

TextVectorization 是目前最推荐的端到端方案，支持 adapt() 自动构建词汇表，且可导出 SavedModel，但注意 output_mode="int" 时返回的是 token ID，不是 embedding 向量
若用 unicode_split，后续接 tf.lookup.StaticVocabularyTable 做查表，记得 vocab 文件必须用 tf.io.gfile.GFile 读取，不能用 Python open
所有字符串操作函数（如 tf.strings.lower, tf.strings.regex_replace）都要求输入是 tf.string，别混入 Python str

避免在 `map()` 中调用 Python 函数处理文本

有人习惯在 dataset.map(lambda x: my_clean_func(x.numpy().decode())) 里写正则清洗，这会导致 dataset 脱离 graph 模式，无法被 XLA 编译、无法跨设备调度，CPU 利用率低，还容易因 .numpy() 触发 eager 执行阻塞。

真正该做的，是用 TF 原生字符串操作替代 Python 正则：比如 tf.strings.regex_replace(x, r"[^\w\s]", "") 替代 re.sub，tf.strings.split(x, " ") 替代 str.split()。

所有 tf.strings.* 函数都接受 tf.Tensor 输入，返回仍是 tensor，全程在 graph 内运行
若真有无法替代的 Python 逻辑（如调用第三方分词库 jieba），必须用 tf.py_function 包裹，并显式声明 tf.TensorSpec 输出类型，否则 trace 失败
py_function 中禁止修改全局状态（如 append 到 list），因为执行顺序不保证，且可能被多次调用

非结构化文本加载本身不难，难的是后续预处理链路是否与 TF 的 graph 模式对齐。很多人卡在“为什么 map 里 print 能出结果，但模型训练就报错”，问题往往出在混用了 eager 和 graph 模式，或者把 Python 字符串操作硬塞进了 tensor 流程。