本文介绍一种稳健、可扩展的方法，从结构化但非标准的多表 TSV 文件中提取所有表格并生成对应 DataFrame：通过按 %T 标记切分原始文件，再分别解析为独立表格，自动适配各表列数差异与行数不确定性。
本文介绍一种稳健、可扩展的方法，从结构化但非标准的多表 tsv 文件中提取所有表格并生成对应 dataframe：通过按 `%t` 标记切分原始文件，再分别解析为独立表格，自动适配各表列数差异与行数不确定性。
在实际数据工程中，常遇到“伪标准”格式文件——虽以制表符分隔，却不遵循单表 CSV/TSV 规范，而是嵌套多个逻辑表（如日志元数据、配置节、主业务表等），每张表以特定前缀标记（如 %T 表名、%F 字段头、%R 数据行）。这类文件无法直接用 pd.read_csv() 加载，需先完成语义解析，再进行结构化转换。
以下是一个生产就绪的解决方案，分为两个核心阶段：
✅ 第一阶段：按表切分原始文件
我们不依赖固定行数或预设表数量，而是流式扫描文件，以 %T 为表边界触发新文件创建。关键点包括：
- 跳过开头任意长度的非表内容（如注释、说明文字）；
- 每个新表以 %T 开头，后续紧随 %F（字段行）和若干 %R（记录行）；
- 遇到下一个 %T 或文件结尾时，关闭当前输出文件。
优化后的切分函数如下（修复了原答案中文件未关闭、首表遗漏等问题）：
import itertools
def split_tables_by_marker(infilepath, output_prefix="table_"):
"""将多表TSV文件按%T标记拆分为多个独立TSV文件"""
table_count = itertools.count(1)
outfile = None
outfile_path = None
with open(infilepath, 'r', encoding='utf-8') as infile:
for line in infile:
if line.startswith('%T'):
# 关闭上一个文件（若存在）
if outfile:
outfile.close()
# 创建新文件
outfile_path = f"{output_prefix}{next(table_count)}.tsv"
outfile = open(outfile_path, 'w', encoding='utf-8')
outfile.write(line) # 写入%T行
elif outfile and (line.startswith('%F') or line.startswith('%R')):
outfile.write(line)
# 忽略非表行（如%开头的%E、%C等非数据行，或纯文本行）
if outfile:
outfile.close()
return [f"{output_prefix}{i}.tsv" for i in range(1, table_count.__next__())]
✅ 第二阶段：统一加载为 DataFrame 列表
每个生成的 .tsv 文件已具备标准结构（首行为 %F 字段头，后续为 %R 数据行），只需清洗前缀并解析：
import pandas as pd
import glob
def load_split_tables(tsv_files):
"""将切分后的TSV文件列表加载为DataFrame列表，自动处理%F/%R前缀"""
dfs = []
for fname in tsv_files:
# 读取原始内容，跳过空行
lines = [l.strip() for l in open(fname, encoding='utf-8').readlines() if l.strip()]
if not lines:
continue
# 提取字段名（去除%F前缀，按\t分割）
header_line = [col.strip() for col in lines[0].split('\t') if col.strip()]
if not header_line or not header_line[0].startswith('%F'):
raise ValueError(f"Invalid header in {fname}: expected %F line")
columns = [col for col in header_line[1:]] # 跳过'%F'
# 提取数据行（去除%R前缀）
data_rows = []
for line in lines[1:]:
if not line.startswith('%R'):
continue
values = [v.strip() for v in line.split('\t')[1:]] # 跳过'%R'
if len(values) == len(columns):
data_rows.append(values)
# 构建DataFrame
df = pd.DataFrame(data_rows, columns=columns)
# 可选：对数值列自动类型推断
df = df.apply(pd.to_numeric, errors='ignore')
dfs.append(df)
return dfs
# 使用示例
tsv_list = split_tables_by_marker("input_data.txt")
dataframes = load_split_tables(tsv_list)
# 按索引访问：dataframes[0] → TABLE_1_NAME, dataframes[1] → TABLE_2_NAME...
print(f"成功加载 {len(dataframes)} 张表")
⚠️ 注意事项与增强建议
- 编码兼容性：务必指定 encoding='utf-8'（或根据实际文件调整，如 gbk），避免中文乱码；
- 内存友好：对超大文件（如单表百万行），可在 load_split_tables 中改用 pd.read_csv(..., chunksize=...) 流式处理；
- 健壮性增强：可扩展支持 %E（结束标记）、表名提取（解析 %T\tTABLE_NAME）、空值填充（%R\t\tValue → NaN）；
- 错误隔离：单表解析失败不应中断整个流程，建议用 try...except 包裹单表加载逻辑；
- 替代方案：若无需生成中间文件，可直接在内存中构建 StringIO 对象传递给 pd.read_csv()，减少 I/O 开销。
该方法兼顾清晰性、可维护性与工业级鲁棒性，适用于科研数据、仪器导出报告、旧系统日志等多种场景。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
